메타, 오픈소스 모델 '라마3' 공개…4000억 매개변수 모델도 준비

메타가 지난해 공개한 오픈소스 LLM(대규모언어모델) '라마'의 최신 모델인 '라마3'를 19일 공개했다.

이날 메타 홈페이지에 공개된 내용에 따르면 라마3는 사전훈련과 미세조정을 마친 80억개와 700억개 매개변수 두 가지 모델이다. 현재 4000억개 매개변수 모델도 학습 중이다.

두 모델은 현재 동급의 오픈소스 모델 중 최고 성능을 자랑한다. '대규모 다중작업 언어 이해'(MMLU)를 포함한 다양한 업계 표준 벤치마크에서 높은 성적을 받았다. 추론과 코드 생성, 지시 수행에 있어 '라마2'보다 성능이 개선됐다.

라마3의 성능 향상은 모델의 사전훈련과 사후 훈련 과정을 고도화함으로써 이뤄졌다. 사전 훈련을 위해 데이터셋 양을 늘리고, 필터링 과정을 거쳐 고품질 데이터만을 선별했다. 라마3는 15조 이상의 토큰으로 훈련됐으며, 이는 라마2 대비 7배 이상 많다.

또 일상적인 질문부터 과학, 기술, 공학, 수학(STEM) 분야, 코딩, 역사 지식에 이르기까지 다양한 분야의 데이터 세트가 사용됐다. 라마3 모델은 홈페이지에서 다운로드할 수 있다. AWS, 데이터브릭스, 구글 클라우드 등 다양한 플랫폼에서도 공개된다. 하드웨어 측면에서는 AMD, AWS, 델, 인텔, 엔비디아와 퀄컴이 파트너로 함께 한다.