기존의 어휘사전은 훈련 데이터에 등장하는 고유 토큰들을 모아, 각 토큰에 정수 ID를 할당한 매핑 테이블이다.때문에, 토큰을 ID로 변환하거나 그 반대의 상황에는 어휘사전을 사용하여 처리했다.기본적으로는 어휘사전에 없는 단어는 처리할 수 없기 때문에 에러를 반환할 것이다.이러한 상황을 해결하기 위해, 특수 문맥 토큰을사용하여 알지 못하는 단어, 문서 경계 등을 표시한다.어휘사전에 없는 단어는 어떻게 처리할까? ( Unknown 토큰)처리 과정을 중단하지 않고 계속 진행할 수 있도록 하는 안전장치 역할로, 사전에 없는 단어는 Unknown 토큰이 그 자리를 채운다. 길이가 다른 문장들은 어떻게 처리할까? ( Padding 토큰)모델 훈련 호율성을 위해 여러 문장을 Batch로 묶어 처리한다.하지만, Ten..