기업이 AI 도입에 적극적인 이유는 하나다. 업무 효율성 강화를 위해서다. MS의 기업용 AI 챗봇 비서 '코파일럿'을 이용했을 때 기존보다 20% 많은 문서를 처리할 수 있다. 이메일을 읽는 시간도 크게 단축시켰다. 코파일럿을 이용했을 때 기존보다 이메일이 읽는 시간이 45% 줄었다.
기업용 AI 챗봇 수요가 늘어나면서 해당 시장을 둘러싼 각축전이 벌어지고 있다. 루나소프트, 채널코퍼레이션, 스켈터랩스, 랭코드 등 경쟁이 치열한 만큼 기술 발전도 빠르다.
━
클릭 한번에 메일 요약·보고서까지…"핵심은 시스템 연동"━
현대모비스 '마이봇'(Maibot), 삼성중공업 '에스봇'(SBOT), 현대백화점 '루이스', 한화 '아이다'(AIDA) 등 여러 대기업에서 이미 임직원용 AI 챗봇을 적용해 사용하고 있다. 이들은 자체적으로 AI 챗봇을 개발하기도 하지만 대부분 전문성을 갖춘 외부 기업에 구축을 맡긴다.
국내에서는 랭코드, 스켈터랩스, 올거나이즈 등이 대표적인 임직원용 AI 챗봇 개발사다. 기본적으로 이들 개발사 모두 LLM(거대언어모델)을 기반으로 임직원들이 요구한 사항을 해석한다는 점에서는 같다. 차별점은 얼마나 사내 시스템과 잘 연동돼 업무에 직접적인 도움이 되는가다.
예를 들어 HR(인사관리) 담당자가 회사 내규를 확인하기 위해서 AI 챗봇에 문의한다. 이때 사내 인사 관련 시스템과 AI 챗봇이 제대로 연결돼 있지 않으면 제대로 된 역할을 하기 어렵다.
김민준 랭코드 대표는 "기존 1세대 AI 챗봇이 이용자와 단순히 대화하는 수준에 머물렀다면 2세대 AI 챗봇은 개발자가 사전에 짜놓은 프로세스에 맞춰 대응했다"며 "3세대 AI 챗봇은 이용자와의 대화 속에서 AI가 스스로 필요한 부분을 인지하고, 시스템에서 찾아온다"고 말했다.
그러나 AI 챗봇이 처음부터 스스로 사내 시스템에서 필요한 정보를 찾아내기란 쉽지 않다. AI 챗봇을 학습시켜야 한다. 문제는 폐쇄적인 기업 시스템 환경이다. 내부정보 유출 우려 때문이다. 김 대표는 "외부 학습데이터를 이용해 임직원용 AI 챗봇을 교육시키는 건 비용적, 보안적인 측면에서 어렵다"며 "주어진 환경에서 얼마나 실시간 학습을 잘 할 수 있는지가 중요하다"고 말했다.
━
더 사람 같은 고객용 AI 챗봇…'환각' 없애주는 RAG 기술 주목━
기존 고객용 AI 챗봇은 룰베이스 기반 NPL(자연어 처리) 기술을 적용해 고객에게 필요한 정보를 연결해주는 역할을 했다. 예를 들어 반품 상황을 알려달라고 요청하면, 반품 검색이 가능한 페이지를 연결해주는 방식이다. 반품 상황까지 전달해주는 진짜 고객 상담원과는 차이가 있다.
좀 더 실제 고객 상담원에 가까운 AI 챗봇을 만들기 위해 루나소프트, 엠비아이솔루션, 채널코퍼레이션 등 주요 기업들은 최근 룰베이스 기반에서 LLM 기반으로 서비스를 전환하고 있다. 그러나 LLM 기반으로 전환했을 때 발생하는 문제가 있다. 할루시네이션(환각) 현상이다.
이수용 엠비아이솔루션 전략기획 프로덕트오너(PO)는 "없는 말을 지어내거나 엉뚱한 답변을 하는 게 문제"라며 "특히, 고객 상담에서 잘못된 답변은 최악의 상황"이라고 말했다.
LLM은 방대한 데이터를 기반으로 답변한다. 그러나 LLM 스스로 답변에 대한 진실 여부를 판단하진 않는다. 이를 보완하기 위한 나온 기술이 검색증강생성(RAG)이다.
RAG는 이름처럼 검색, 증강, 생성하는 절차를 거쳐 답변을 만들어 낸다. 우선 대규모 구조화된 데이터베이스(DB)에서 주어진 질의에 대한 관련 정보를 검색한다. 이후 검색된 지식을 근거로 사실에 기반한 답변을 생성한다. 마지막으로 외부 지식을 통해 질의에 대한 배경 지식과 맥락 정보를 파악하고, 추론 능력을 바탕으로 답변을 생성한다. 외부 지식을 결합하는 게 특징이다.
RAG의 성능은 연결된 DB와 외부 지식의 품질과 범위에 크게 좌우된다. 고품질의 DB와 외부 지식을 구축하는 게 주요 과제다. 이 PO는 "DB 구축과 함께 또 중요한 건 고객에게 얼마나 정제된 답변을 끌어내느냐"라며 "일정한 톤 앤 매너((tone and manner)가 나오도록 프롬프트를 짜야 한다"고 말했다.
[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']
<저작권자 © ‘돈이 보이는 리얼타임 뉴스’ 머니투데이. 무단전재 및 재배포, AI학습 이용 금지>