ChatGPT와 같은 LLM의 기반이 되는 트랜스포머(Transformer) 구조에 대해 알아보자. 트랜스포머 탄생: Attention Is All You Need트랜스포머는 원래 한 언어의 텍스트 시퀀스를 다른 언어로 변환하기 위해 설계되었다.기존에는 RNN(순환 신경망)과 어텐션의 조합으로 사용했으나, 트랜스포머는 RNN을 제거하고 오직 어텐션 메커니즘만 사용하여 긴 문맥의 흐름을 파악할 수 있도록 설계되었다. 핵심 구조: 인코더와 디코더트랜스포머는 크게 인코더와 디코더로 두 가지 블록으로 나뉜다.1. 인코더(Encoder)입력 텍스트를 받아 문맥 정보를 담은 텍스트 임베딩(벡터의 집합)로 변환한다.(텍스트 임베딩은 문장 전체의 문맥을 파악하여 각 단어의 의미를 조정한 결과물)이 과정은 여러 동일한 ..