페가수스-1은 트웰브랩스가 자체 개발한 800억 파라미터 규모의 초거대 영상언어모델이다. 최근 오픈AI가 발표한 GPT-4V에서 볼 수 있었던 텍스트와 이미지(Image-To-Text) 소통을 넘어서 영상 요약, 영상 기반 질의응답 등 비디오와 텍스트(Video-To-Text) 소통을 가능하게 한다.
트웰브랩스는 자체적으로 구축한 3억개 이상의 영상-텍스트 페어로 구성된 데이터셋 중 약 3500만개 분량을 이번 모델 개발을 위해 활용했다. 트웰브랩스 측은 "페가수스-1은 현재까지 공개된 최고 성능의 영상언어모델 대비 최대 61%의 성능 우위를 보인다"고 강조했다.
이번 페가수스-1 공개로 트웰브랩스는 영상 콘텐츠의 이해와 활용에 있어 새로운 장이 열릴 것으로 기대하고 있다. 페가수스-1은 개발자용 API 형태로 상용화돼있다. 현재는 트웰브랩스 홈페이지 내 대기자 명단 등록을 통해 순차적으로 사용 가능하며, 내년 1분기부터는 대중에게 공개될 예정이다.
트웰브랩스는 멀티모달 신경망 기술을 바탕으로 글로벌 영상 AI 시장에서 높은 평가를 받고 있는 스타트업이다. 최근 글로벌 시장조사 기업 CB 인사이트 선정 '세계 100대 AI 기업' 및 '세계 50대 생성 AI 스타트업'에 선정됐고 지난달(10월)에는 엔비디아, 인텔, 삼성넥스트, 한국투자파트너스 등으로부터 1000만달러(약140억원)의 투자를 유치하기도 했다.
이재성 대표는 "트웰브랩스는 2021년부터 인간과 유사한 수준의 영상이해 기술 구현을 위해 꾸준히 노력해왔다"며 "페가수스 모델이 물리보안 영상들에 대한 자동 리포트 생성, 스포츠 영상 하이라이트 생성 등 다양한 산업계에서 오랫동안 해결하지 못했던 문제들의 솔루션이 되길 기대한다"고 밝혔다.
[저작권자 @머니투데이, 무단전재 및 재배포 금지]