"전자레인지에 차갑게 식힌 사과 넣어줘"… AI, 제대로 이해할까

한국전자통신연구원(ETRI), AI의 작업 수행 능력 자동으로 평가하는 '로타벤치마크' 기술 개발

로타벤치마크(LoTa-Bench) 기술을 개발한 ETRI 연구진(. 옹효빈 UST학생연구원, 윤영우 책임연구원, 최재우 선임연구원, 장민수 책임연구원(왼쪽부)/사진=한국전자통신연구원

국내 연구진이 LLM(거대언어모델) 기반 절차 생성 AI(인공지능)의 성능을 자동으로 평가하는 기술을 개발했다. 빠르고 객관적인 절차 생성 성능 평가가 가능해질 전망이다.

ETRI(한국전자통신연구원)는 사람이 말로 작업을 명령하면 스스로 작업 절차를 이해하고 계획을 수립하는 절차 생성 AI 성능을 자동으로 평가하는 '로타벤치마크(LoTa-Bench) 기술'을 개발했다고 7일 밝혔다.

최근 사람이 말로 입력한 명령을 이해해 순서대로 작업을 수행해 목표를 달성하는 절차 생성 AI가 속속 등장하고 있다. 이에 따라 AI가 지시한대로 목표를 잘 달성했는지 평가하는 기술도 주목받는다.

ETRI 연구팀은 절차 새성 AI의 성능을 자동으로 평가하는 '로타벤치마크 기술'을 최초로 개발했다. 지금까지는 사람이 직접 AI의 성능을 평가해 AI의 임무 성공 여부를 투표로 판단했다. 이 경우 성능 평가에 시간이 많이 드는데다 평가 결과에 평가자의 주관적 판단이 개입된다는 문제도 있었다.

로타벤치마크 기술은 사용자의 명령에 따라 AI가 생성한 작업 절차를 실행하고 결과가 지시한 목표와 같은지 자동으로 비교해 성공 여부를 판단한다.

연구팀은 개발한 기술을 적용해 미국 알렌인공지능연구소(AI2-THOR)와 미국 매사추세츠공대(MIT)의 버츄얼홈 가상 시뮬레이션 환경에서 AI 총 22종의 성능을 평가하고 그 결과를 공개했다.

"전자레인지에 차갑게 식힌 사과를 넣어라"와 같은 가사 작업을 지시할 때 AI의 데이터 세트에 필수적인 작업 절차가 모두 포함돼 있는지 여부를 확인했다.


그 결과 오픈AI의 GPT-3는 21.36%, GPT-4는 40.38%, 메타의 라마2(LLaMA 2)-70B 모델은 18.27%, 모자이크엠엘의 MPT-30B 모델은 18.75% 성공률을 보였다고 밝혔다. 성공률 20%는 100개 절차 중 20개를 성공했다는 뜻이다. LLM 규모가 클수록 절차 생성 능력도 우수했다.

장민수 ETRI 소셜로보틱스연구실 책임연구원은 "향후 불확실한 상황에서 작업 실패를 예측하거나 사람에게 질문하며 도움을 받아 작업 생성 지능을 지속 개선하는 기술을 연구개발할 계획"이라며 "1가구 1로봇 생활 시대의 구현을 위해 반드시 필요한 기술"이라고 말했다.

이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 '사람중심 인공지능 핵심원천기술 개발 사업'의 일환인 '스스로 불확실성을 자각하며 질문하면서 성장하는 에이전트 기술 개발' 과제의 지원을 받았다.