HAE-RAE Bench

HAE-RAE Bench는 언어 모델의 한국어 능력을 평가하기 위해 제작된 벤치마크 데이터셋입니다. 여러 언어 모델이 공개되면서 한국어만 하는 언어 모델이 필요한가에 대한 논의가 활발해지고 있는데, HAE-RAE Bench는 이에 대한 가이드를 주고자 합니다. 이는 한국어의 고유한 특성과 지식을 반영한 Instruction 데이터셋입니다. 한국어 어휘, 독해, 문법과 지식, 총 4가지 영역에 걸쳐 언어 모델의 능력을 평가하는 벤치마크입니다. 

 

외래어에 대한 예시

 

독해에 대한 예시

 

평가 메트릭으로는 log-likelihood를 사용했습니다. 각 답변에 대해 log-likelihood를 계산하여 가장 높은 likelihood를 선택하는 방식입니다.

 

 

 

 

출처

• https://arxiv.org/abs/2309.02706
• https://github.com/HAETAE-project/HAE-RAE-BENCH
• https://huggingface.co/datasets/HAERAE-HUB/HAE_RAE_BENCH
• https://www.linkedin.com/posts/hanwoolalbert_github-haetae-projecthae-tae-catalog-activity-7062439998108700672-srra/?trk=public_profile_like_view&originalSubdomain=kr