[LLM] 코절 어텐션과 멀티헤드 어텐션

어텐션 메커니즘의 기본 원리

모든 토큰은 Query, Key, Value 3가지 벡터를 생성하여 자신을 표현한다. 쿼리 벡터는 다른 모든 토큰의 키 벡터와 비교되어 어텐션 점수를 계산하고, 이 점수는 각 토큰의 값 벡터에 얼마나 주목할지를 결정하는 가중치가 된다.

 

문장 내 모든 토큰은 각자 다른 모든 토큰과의 관계를 계산한다. 입력 토큰이 N개이면, 각 토큰이 어텐션 점수를 게산하므로, N x N 크기의 어텐션 점수 행렬이 만들어진다.

 

언어 모델의 목표는 주어진 단어들을 바탕으로 다음 단어를 예측하는데 있다.
(모델이 예측해야 할 단어를 미리 볼 수 있다면, 학습이 제대로 이루어지지 않음)

때문에, 이 문제를 해결하기 위해 마스크를 적용하여, 현재 토큰 위치 이후에 오는 모든 토큰들의 어텐션 점수를 강제로 0으로 만든다.
(덕분에, 모델은 과거와 현재의 정보에만 의존하게 됨)

 

코절 어텐션(Causal Attention)

NotebookLM 생성 이미지

위와 같이 미래 정보를 차단하는 어텐션 메커니즘을 코절 어텐션(Causal Attention) 또는 마스크드 셀프 어텐션(Masked Self-Attention) 이라고 부른다.

 

멀티헤드 어텐션(Multi-head Attention)

NotebookLM 생성 이미지

멀티헤드 어텐션은 여러 개의 어텐션 헤드를 병렬적으로 운영한다. 각 헤드는 서로 다른 가중치 세트를 가지며, 각각 독립적으로 텍스트의 다른 측면을 학습한다.
(토큰 임베딩, 위치 임베딩 등)

 

* 본 게시글은 밑바닥부터 만들면서 배우는 LLM 강의를 참고하여 작성되었습니다.