네이버 검색, AI 자연어처리로 품질 대폭 향상

검색어 교정, 자동완성, 개체명 연결, 영화 AI 등 기술 개발 및 성능 개선

네이버가 수준 높은 한글 자연어처리 기술력을 활용해 검색 서비스 고도화에 나섰다. 지속적인 기술 연구로 거둔 성과를 실제 검색 서비스에 적용, 정확하고 효과적인 정보 제공을 위한 노력이다.

네이버 검색과 인공지능(AI) 담당 CIC(사내독립기업) 서치앤클로바는 최신 자연어처리 기술과 서비스 노하우를 실제 서비스에 적용, 검색 품질을 개선했다고 8일 밝혔다.

서치앤클로바는 모바일 검색 사용자들을 위한 AI 기술 기반 검색어 교정 시스템 'AIQSpell'을 지속적으로 개발해왔다. 딥러닝을 비롯한 최신 AI 기술을 활용해 기존 검색어 교정 시스템을 대체했다. 해당 시스템 도입으로 오탈 질의에 대한 검색어 교정량이 43% 증가하는 등 가시적인 성과가 이어지고 있다. 맞춤법 오류나 오타 등으로 검색결과가 0건으로 나타나는 '검색결과 0건 질의' 역시 크게 감소했다. 올 1월 대비 9월 검색결과 0건 질의는 52% 줄었다.

네이버의 AI 기술 기반 검색어 교정 시스템 'AIQSpell'로 '목포에세 군산깢 가는버'이라고 잘목 입력한 내용을 '목포에서 군산까지 가는 법'

으로 교정하거나

최신 AI 기술을 적용해 자동완성 서비스 역시 대폭 개선했다. 지난달 개편한 네이버 자동완성에는 빅데이터 분석 기술을 활용한 시스템이 도입됐다. 해당 모델은 오타가 발생했을 가능성, 순서가 뒤집혔을 가능성, 사용자가 많이 찾는 검색어일 가능성 등을 조합해 추천 검색어 후보들의 최종 점수를 계산해 적절한 검색어를 제공한다. 네이버는 지속적으로 검색 서비스 품질을 높이기 위해 영어로 입력하더라도 한글 검색 결과로 제대로 매칭할 수 있는 방안도 연구 중이다.

네이버는 '개체명 연결' 기술로 700만개 이상 개체명을 인식해 처리하고 있다. 개체명 연결 기술은 문서에 출현한 각 단어에 정확한 의미 구분자를 부착, 중의적인 검색어마다 알맞는 검색 결과를 제공하는 데 활용된다. 해당 기술 개발은 2016년 1월 시작된 이후 동명이인 인물의 노출순위 자동 변경, 증권 종목 및 스포츠 섹션의 뉴스 기사 자동분류 등 다양한 서비스에 적용됐다.

사용자들의 리뷰 문서를 분석해 영화 제목을 찾는 질의에 답하는 시스템도 개발됐다. 네이버의 영화 AI는 사용자가 영화를 본 뒤 리뷰를 작성하면 해당 리뷰가 AI에 반영돼 점점 똑똑한 추천 시스템을 갖게 된다. 해당 시스템은 사용자가 영화 제목을 기억하지 못하거나, 관람하고 싶은 특정한 유형의 영화가 있을 때와 같은 상황에서 유용하게 활용될 전망이다. 영화 AI는 네이버의 AI 플랫폼 '클로바' 기반의 모든 서비스에 적용될 예정이다.

네이버는 한글날을 맞아 차정원 창원대 교수와 함께 한글 자연어처리 인재 발굴을 위한 경진대회도 개최한다. 해당 대회는 '개체명 인식', '의미역 분석' 등 2가지 연구과제를 제시, 과제별 수상자를 12월 중 선정한다. 우수 성과를 낸 학생은 상금과 함께 네이버 인턴, 정규직 채용 시 코딩 테스트 면제 등 혜택을 받는다. 강인호 네이버 자연어처리 리더는 "이번 대회를 통해 한글 연구의 발전에도 기여할 수 있을 것"이라고 말했다.


한편, 네이버는 이달 열리는 'HCLT2018'에서 총 5편의 논문을 접수 및 발표한다. HCLT는 매년 한글날 전후 열리는 한글 및 한국어 정보처리학술대회다. 네이버의 연구는 해마다 우수 논문으로 선정된 바 있다. 올해는 자연어 처리 및 한글 검색어 관련 총 3편의 논문이 우수 논문으로 선정됐다.