LLM 모델 추론이나 학습에 필요한 허깅페이스 모델을 로컬로 다운받는 방법입니다.  1. huggingface-cli 로그인pip install huggingface_hub huggingface cli를 위한 패키지를 설치하고 https://huggingface.co/settings/tokens 에서 토큰을 발급받아 로그인합니다.huggingface-cli login  2. 허깅페이스 모델 접근 권한 획득 권한 부여 상태는 설정에서 확인 가능합니다. Hugging Face – The AI community building the future. huggingface.co 3. 로컬 다운로드git clone https://huggingface.co/{모델 주소}  4. .git 파일 삭제rm -rf .git..

지난 11월 11~12일 팀 네이버에서 DAN24 컨퍼런스를 개최했습니다. 여러 세션 중 첫째날 진행한 [네이버 검색이 이렇게 좋아졌어? LLM의 Re-Ranking Ability 검색에 이식하기] 트랙에 대한 내용을 정리해보고자 합니다.  검색에서의 LLM검색에서 LLM은 문서의 순위를 정렬하는 Ranker로 사용됩니다. 문서를 검색해서 사용자의 query와 유사한 문서인지 순위를 매깁니다. 순위를 매기는 방법으로는 크게 두가지가 있습니다. List-wise 방법과 Point-wise 방법입니다. List-wise는 문서 전체를 고려하여 query와의 유사도를 ranking합니다. Point-wise는 각 문서에 대해 개별적으로 query와의 유사도를 판단합니다. 이런 방법은 실시간으로 검색 결과를 제..