RRADistill

지난 11월 11~12일 팀 네이버에서 DAN24 컨퍼런스를 개최했습니다. 여러 세션 중 첫째날 진행한 [네이버 검색이 이렇게 좋아졌어? LLM의 Re-Ranking Ability 검색에 이식하기] 트랙에 대한 내용을 정리해보고자 합니다.

 

 

검색에서의 LLM

검색에서 LLM은 문서의 순위를 정렬하는 Ranker로 사용됩니다. 문서를 검색해서 사용자의 query와 유사한 문서인지 순위를 매깁니다. 순위를 매기는 방법으로는 크게 두가지가 있습니다. List-wise 방법과 Point-wise 방법입니다. List-wise는 문서 전체를 고려하여 query와의 유사도를 ranking합니다. Point-wise는 각 문서에 대해 개별적으로 query와의 유사도를 판단합니다. 이런 방법은 실시간으로 검색 결과를 제공해야하는 서비스에서 ranking 속도가 느리고 비용이 비싸며 관리가 어렵다는 문제가 있습니다.

 

Re-Ranking

Long-tail query에 대한 검색 정확도를 높이기 위해 LLM을 활용하여 Re-Ranking하였습니다. Long-tail query는 입력 빈도가 낮고 상대적으로 길이가 긴 질의입니다. 전체 검색에서 많은 비중을 차지하나 개별적으로 query에 대한 데이터 양이 충분하지 않고 검색 의도가 상세하여 어려운 태스크입니다. 이에 문서에 대한 Ranking만 수행하는 task-specific한 sLM Ranker를 만들었습니다.

 

LLM 기반의 distillation 기법으로 Long-tail query에 대한 문서 ranking 품질을 개선합니다. 

 

label generation pipeline

 

사용자의 질의에 대해 검색된 문서를 pre-ranker로 top-k와 bottom-k 문서로 나눕니다. 이를 HCX-L LLM을 활용하여 정교한 ranking을 생성합니다. 생성한 ranking을 HCX-S에 입력하여 순위를 생성한 이유까지 생성합니다. HCX-L와 HCX-S로 생성한 결과를 기반으로 BERT와 GPT에 distillation하여 성능을 유지하며 배포할 수 있는 형태로 최적화합니다.

 

 

 

DAN 24

 

RRADistill: Distilling LLMs’ Passage Ranking Ability for Document Re-Ranking of Long-Tail Queries in a Search Engine