RAG는 생성형AI의 환각(할루시네이션)현상을 최소화할 수 있는 검색 기술이다. 사전에 학습되지 않은 데이터에서도 답을 찾아내고 답변 중 질문 및 검색어의 맥락을 고려해 적절한 대답을 제공한다. 올거나이즈의 RAG 리더보드는 RAG 기술의 성능을 측정해 순위를 매겨 기업 AI 실무자들이 가장 적절한 솔루션을 비교 도입할 수 있도록 돕는다.
알리 RAG 리더보드는 금융, 공공, 의료, 법률, 커머스의 5개 분야로 구성돼 있다. RAG 기술을 등록하면 리더보드는 이를 활용해 각 분야별로 2~300페이지의 문서를 업로드한 후, 분야마다 60가지의 질문을 던진다. 이에 RAG가 답변을 생성하면 5개의 평가툴 중 3개 이상에서 오류가 없을 경우 '이상 없음'으로 판명한다. 해외 RAG 리더보드의 경우 일반적으로 1~2개의 평가 툴만을 활용한다.
알리 RAG리더보드의 측정 항목은 그림·표 등을 추출하는 능력, 원하는 대답을 즉시 찾는 능력, 답변생성 능력 등 RAG의 3가지 핵심요소가 모두 포함된다.
이창수 올거나이즈 대표는 "AI 생태계에 기여하기 위해 테스트 데이터셋을 모두 공개했으며 이를 활용해 한국어로 된 다양한 RAG 솔루션의 성능이 향상됐으면 하는 바람이 있다"며 "대학 및 개인 연구자들은 AI 연구에 도움을 받을 수 있을 것이고 기업들 역시 성능 좋은 RAG를 도입해 업무 생산성 증대를 경험할 수 있을 것"이라고 밝혔다.
[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]
[저작권자 @머니투데이, 무단전재 및 재배포 금지]