지난 11월 11~12일 팀 네이버에서 DAN24 컨퍼런스를 개최했습니다. 여러 세션 중 첫째날 진행한 [네이버 검색이 이렇게 좋아졌어? LLM의 Re-Ranking Ability 검색에 이식하기] 트랙에 대한 내용을 정리해보고자 합니다.
검색에서의 LLM
검색에서 LLM은 문서의 순위를 정렬하는 Ranker로 사용됩니다. 문서를 검색해서 사용자의 query와 유사한 문서인지 순위를 매깁니다. 순위를 매기는 방법으로는 크게 두가지가 있습니다. List-wise 방법과 Point-wise 방법입니다. List-wise는 문서 전체를 고려하여 query와의 유사도를 ranking합니다. Point-wise는 각 문서에 대해 개별적으로 query와의 유사도를 판단합니다. 이런 방법은 실시간으로 검색 결과를 제공해야하는 서비스에서 ranking 속도가 느리고 비용이 비싸며 관리가 어렵다는 문제가 있습니다.
Re-Ranking
Long-tail query에 대한 검색 정확도를 높이기 위해 LLM을 활용하여 Re-Ranking하였습니다. Long-tail query는 입력 빈도가 낮고 상대적으로 길이가 긴 질의입니다. 전체 검색에서 많은 비중을 차지하나 개별적으로 query에 대한 데이터 양이 충분하지 않고 검색 의도가 상세하여 어려운 태스크입니다. 이에 문서에 대한 Ranking만 수행하는 task-specific한 sLM Ranker를 만들었습니다.
LLM 기반의 distillation 기법으로 Long-tail query에 대한 문서 ranking 품질을 개선합니다.
사용자의 질의에 대해 검색된 문서를 pre-ranker로 top-k와 bottom-k 문서로 나눕니다. 이를 HCX-L LLM을 활용하여 정교한 ranking을 생성합니다. 생성한 ranking을 HCX-S에 입력하여 순위를 생성한 이유까지 생성합니다. HCX-L와 HCX-S로 생성한 결과를 기반으로 BERT와 GPT에 distillation하여 성능을 유지하며 배포할 수 있는 형태로 최적화합니다.
DAN 24
팀네이버 컨퍼런스 DAN 24는 네이버의 비즈니스 전략과 기술, 크리에이티브, 그리고 다양한 경험의 전문성을 유기적으로 연결하여 네이버가 앞으로 만들어나갈 비즈니스, 서비스의 변화 방향을
dan.naver.com
RRADistill: Distilling LLMs’ Passage Ranking Ability for Document Re-Ranking of Long-Tail Queries in a Search Engine
Large Language Models (LLMs), such as ChatGPT OpenAI (2022) and GPT-4 Achiam et al. (2023), have shown remarkable potential across diverse search tasks, including query rewriting Mao et al. (2023); Dhole and Agichtein (2024), query and document expansion
arxiv.org
'LLM' 카테고리의 다른 글
| YOLOv10 모델 구조 (0) | 2025.04.06 |
|---|---|
| 허깅페이스 모델 로컬 다운로드 (0) | 2024.11.27 |
| G-Eval Prompt (0) | 2024.02.27 |
| HAE-RAE Bench (0) | 2024.02.25 |
| Positional Embedding (0) | 2024.02.11 |