Positional Embedding

Positional Embedding은 BERT에서 토큰의 상대적인 위치를 나타내기 위해 사용하는 방법입니다.

 

Positional Embedding에서는 Sine과 Cosine 함수를 사용합니다. 그 이유는 아래와 같습니다.

 

• 입력값에 따라 달라지는 함수값
• 규칙적으로 증가하거나 감소
• 입력값의 범위에 대한 제한이 없음

 

Sine과 Cosine 함수는 항상 -1과 1 사이의 값을 가집니다.

 

절대적인 위치를 사용할 경우 학습 데이터보다 긴 데이터는 입력할 수 없습니다. Positional Embedding에서는 상대적인 위치를 사용하여 학습데이터보다 긴 데이터도 입력할 수 있습니다.

 

* 출처: https://arxiv.org/abs/1810.04805