삼성전자가 인터넷 연결 없이도 외국인과 소통할 수 있도록 돕는 '갤럭시 AI(인공지능)' 언어모델 개발과정을 공개했다. 특히 주요 LLM(초거대 언어모델)에서 다루지 않는 인도네시아어·아랍어·베트남어 등 개발 과정을 자세히 설명했다.
삼성전자는 각국 언어와 문화를 모두 이해하는 갤럭시 AI를 위해 세계 총 20여개 R&D(연구·개발) 센터에서 언어모델 연구·개발에 매진하고 있다고 25일 밝혔다.
삼성전자는 갤럭시 AI 아랍어 모델을 위해 삼성리서치 요르단 연구소(SRJO)에서 데이터베이스를 구축했다. 아랍어는 20여개국 4억여명이 사용하는, 세계에서 6번째로 많이 사용되는 언어다. 아랍어를 통·번역에 활용하기 위해서는 현대 표준 아랍어인 풋스하(Fusha)와 일상 생활에서 사용하는 방언인 암미야(Ammiyya)를 모두 학습해야 한다. 암미야는 30여 종에 달한다. SRJO는 아랍어 방언을 이해하면서 답변은 표준 아랍어로 할 수 있는 언어모델을 개발했다. 이를 위해 각기 다른 아랍어 방언의 음성 녹음 데이터를 수집하고 이를 직접 텍스트로 변환했다. 데이터베이스 구축을 맡은 SRJO의 아야 하산(Ayah Hasan)은 "여러 방언의 미묘한 차이와 변형을 정확히 이해할 수 있는 원어민들로 갤럭시 AI 팀을 구성하고, 음성 데이터를 일일이 글과 문장으로 바꾸는 수작업을 진행했다"고 설명했다.
삼성리서치 베트남 연구소(SRV)는 베트남어의 여섯가지 성조가 가진 미세한 차이를 인식할 수 있도록 음성 데이터를 정교하게 다듬고 정제하는 과정을 거쳤다. SRV는 성조를 정확히 구분해내기 위해 한 단어를 0.02초 전후의 짧은 프레임으로 잘라내고 이를 데이터베이스화했다.
인도네시아 인구는 2억8000만명으로 세계 4위 규모다. 이들이 사용하는 인도네시아어는 관사·복수형·동사의 시제 변화가 없어 상대적으로 배우기 쉬운 언어로 평가받지만, 반대로 문장의 맥락을 충분히 파악하지 못하면 내용을 이해할 수 없어 통·번역이 쉽지 않은 언어로 평가받는다. 삼성리서치 인도네시아 연구소(SRIN)는 문장의 맥락이 중요한 인도네시아어의 특성을 고려해 단어가 아닌 '문장 단위'로 언어를 학습시켰다. 이를 위해 SRIN은 인간의 뇌가 학습하는 과정과 유사한 '인공신경망번역(Neural Machine Translation)' 방식을 적용하고 갤럭시 AI가 의사소통의 맥락과 규칙을 이해할 수 있도록 했다.
삼성리서치 브라질 연구소(SRBR)는 중남미 22개국에서 사용하는 스페인어 언어모델 개발을 담당한다. 같은 스페인어권이라도 멕시코에서는 수영장을 '알베르카(alberca)'라고 부르지만, 아르헨티나·파라과이·우루과이에서는 '필레타(pileta)', 콜롬비아·볼리비아·베네수엘라에서는 '피시나(piscina)'라고 표현한다. SRBR은 갤럭시 AI가 이같은 차이를 이해할 수 있도록 각 국가의 오디오와 텍스트를 수집해 관리하고 지속적으로 개선 중이다.
갤럭시 AI의 온디바이스 실시간 통·번역 기능은 현재 16개 언어(한국어·중국어(간체)·영어·프랑스어·독일어·힌디어·이탈리아어·인도어·폴란드어·포르투갈어·스페인어·태국어·아랍어·인도네시아어·러시아어)를 지원 중이며, 연내 스웨덴어·네덜란드어·루마니아어·튀르키예어 4개 언어를 추가해 총 20개 언어를 지원할 계획이다. 삼성전자의 갤럭시 AI 언어모델은 언어의 특성과 문법에 대한 정량 평가와 문화에 대한 지식과 이해를 검증하는 정성 평가 등을 거쳐 공개된다.
[저작권자 @머니투데이, 무단전재 및 재배포 금지]