네이버의 진화된 검색어 제안 기능과 언어 모델

네이버 서치앤테크 (NAVER Search and Tech) 블로그 채널에 최근(5월 11일) 업데이트된 내용에 따르면 네이버 검색이 기존 언어모델보다 더욱 정교한 새로운 언어모델을 검색 제안 서비스에 상용화 하겠다고 발표했습니다. 이에 대하여 지난 5월 7일 국내외 검색·AI 연구자에게 기술 트렌드와 노하우를 소개하는 ‘2021 네이버 검색 콜로키움 Global Re:Search’을 통해 네이버 서치(Search) CIC 강인호 책임리더가 키노트를 통해 AI 언어처리 심화연구 성과와 계획을 발표했으며, 해당 연구의 연장선상에서 이번 서비스가 도입된 것으로 판단됩니다.  

NAVER Search & Tech : 네이버 블로그

<네이버 서치 콜로키움 강인호 책임리더>

이번에 소개된 언어모델은 한국어 초거대 AI 언어모델로서 콜로키움에서 발표된 언어모델 연구와 관련된 것으로 보이며, BERT와 GPT-3 모델이 병합된 언어 분석 및 학습 모델로 예상됩니다. 

새로운 검색 제안 언어모델 적용

이번 업데이트 내용을 간단하게 설명하자면 아래와 같습니다. 
한국어가 가진 구어체적 표현, 자주 발생하는 오타, 공백 없는 검색어 등을 포함하여 기타 변수를 언어 모델에 적용하여, 이에 대한 검색 목적을 찾아 제안합니다. 
네이버 서치앤테크에서 제시한 예를 보자면, ‘민들레냉이꽃과냉이차이끛’으로 검색할 경우 이에 대한 검색 의도를 찾아내어 ‘민들레냉이꽃과 냉이꽃 차이’ 검색어를 제안하게 됩니다. 

<네이버 서치앤테크>

기존에도 제안 검색항목을 제공하고 있었지만 한정적었던 것에 반해, 이번 모델은 기존의 제안 검색어 범위가 상당히 늘어난 것으로 보입니다. 네이버는 이번 언어 모델 업데이트에 대하여 검색결과가 ‘0’건인 경우의 수를 절반 이하로 줄이는 것이 목표하고 말하고 있습니다. 

이와 더불어 네이버의 개발 프로젝트 리터인 김선훈 리더는 올해 3분기 이내에 사용자 검색흐름을 추적하여 검색어를 추천하는 기능을 실현시킬 것이라고 계획을 제시하였습니다. 이 기능은 검색자가 ‘올리브오일’을 검색한 후 ‘파스타 만드는 법’을 검색하였을 때, ‘올리브 파스타 만드는 법’의 검색결과를 제안하는 기능입니다. 이 두가지 개선으로도 검색 사용자에게는 새로운 검색 환경을 제시할 수 있을 것으로 기대됩니다.

네이버 한국어 언어 분석 모델

영어 및 기타 주요 외국어의 경우 언어 분석 측면에서 해당 언어들의 연구 및 개발 성과가 괄목할만하나, 한국어의 경우 언어 특성상 자연어 처리(NLP: Natural Language Processing)의 한계가 있고, 복잡한 문법구조 및 광범위한 관용 표현들, 그리고 미세한 의미를 차이를 갖는 어휘 등 연구가 어려운 언어중 하나입니다. 특히 네이버는 국내 최대 검색 포탈인만큼 가장 앞선 기술을 연구 및 적용하고 있습니다. 최근 네이버에서 서울대와 공동협약을 맺고 언어에서 이미지 그리고 음성을 동시에 이해하는 고차원적 모델을 적용하겠다고 발표하였고, 이번 콜로키움을 통해서 검색엔진의 검색어 분석에 대한 연구개발 의지를 보여주었습니다.

<출처 : http://jalammar.github.io/how-gpt3-works-visualizations-animations/>

<출처 : AItimes>

네이버가 제시하고 있으며 일부 적용되고 있는 언어 모델은 BERT 딥러닝 모델과 GPT-3 언어 생성모델이 적용된 것으로 알려져 있습니다. BERT 언어 분석 모델은 구글에서도 적용하고 있는 언어 모델이며 앞뒤 문맥을 파악하는 양방향 자연어 처리 시스템입니다. GPT-3는 대용량 언어를 교육없이 스스로 학습을 통해 인식하는 언어 학습 모델입니다. 특히 GPT-3모델의 경우 단어의 의미를 예측하여 업데이트하고 이를 이용해 수많은 새로운 질문들에 대하여 자연스러운 대화가 될 정도로 정교한 것으로 알려져 있습니다.

2021.02.08 - [디지털 마케팅/검색엔진최적화] - 구글 주요 알고리즘 업데이트 타임라인