순환 신경망(RNN)은 토큰을 하나씩 순서대로 처리하는 순차 구조 덕분에, 별도의 장치 없이 자연스럽게 단어의 순서와 위치에 대한 미묘한 차이를 학습할 수 있었다. (단, 텍스트가 길어질수록 처리 시간이 선형적으로 증가하여 속도가 느리다는 단점이 있다.) 하지만, 일반적인 임베딩 층(Embedding Layer)은 문장 내 위치와 관련없이 같이 단어라면 항상 똑같은 벡터값을 내놓는다.예를 들어, 'The fox jumps over the lazy fox.' 문장에서 첫 번째 'fox'와 두 번째 'fox'는 동일한 Token ID를 가지기 때문에, 동일한 임베딩 벡터로 변환된다.(즉, 모델의 입장에서는 이 두 단어가 문장의 어디에 위치할지 구분할 방법이 없다. -> 위치 정보가 없기 때문) 이는 Tran..