김유원 네이버클라우드 대표가 지난해 11월 진행된 네이버의 연례 개발자 컨퍼런스 '데뷰 2022'에서 하이퍼클로바X에 대해 소개하고 있다. /사진=네이버
아직 구체적인 협력 방안은 정해지지 않았지만, IT업계는 네이버가 오는 7월 선보일 초거대 언어모델(LLM) 하이퍼클로바X를 제공할 가능성이 높다고 보고 있다. 특히 하이퍼클로바X를 적용한 생성형 AI 기반 챗봇 검색 서비스 '서치GPT(가칭)'를 통해 GPT 모델을 적용한 마이크로소프트(MS)의 '빙(Bing)'이나 PaLM2 모델을 적용한 구글의 '바드(Bard)'와 대항할 것으로 보인다.
하정우 네이버클라우드 AI이노베이션 센터장은 일본이나 중동, 동남아 국가들이 비용 절감을 위해 챗GPT나 바드 대신 하이퍼클로바X를 선택할 것이라 자신한다. 계산하는 단위인 '토큰'을 줄이기 위해서는 영어로 개발된 LLM보다 각 언어에 맞게 개량된 LLM을 사용해야 하기 때문이다.
GPT토크나이저에 따르면 16개 문자(공백포함)로 구성된 "오늘 저녁 메뉴는 스테이크지."라는 문장을 GPT-3에서 처리하면 토큰 36개가 필요하다. 이 문장을 네이버 하이퍼클로바에서 처리할 경우 토큰 7개면 충분하다. 한국어 중심 LLM을 만들면 자음·모음처럼 작은 단위가 아니라 의미 단위로 토큰을 끊을 수 있어 경제적이라는 설명이다. 같은 의미의 영어문장 "Today's dinner menu is steak."는 문자 29개로 구성됐지만, GPT-3에서 단 7개 토큰만 사용한다.
하 센터장은 "오픈AI와 구글, 메타는 미국에서 영어로 경쟁하기에 바빠 다른 언어를 둘러볼 여유가 없다"며 "이때 우리는 한국어를 중심으로 한국어 LLM을 만들고, 비슷하게 일본어를 중심으로 만들어 일본에, 또 아랍어를 중심으로 만들어 중동 시장에 나가면 된다"고 설명했다.
네이버는 야후재팬과의 검색 기술 협력 방식에 대해 아직 정해진 것이 없다고 선을 그었다. 네이버 관계자는 "야후재팬과 검색기술 협력 논의를 하고 있는 것은 맞지만, 적용 시기부터 어떤 기술이 적용될지까지 아직 결정된 것은 아무것도 없다"며 "하이퍼클로바X를 적용할 지 그 외 검색 기술을 적용할지도 아직 알 수 없다"고 설명했다. 현재 야후재팬에 적용된 네이버 기술은 쇼핑 추천 기술 'AI템즈'와 장소 추천 기술 '에어스페이스' 등이다.