[LLM] LLM의 구축 단계

LLM 구축

LLM을 구축하기 전에 어떤 도구들을 사용하여 만들어지는지 알아보자.

 

대부분의 LLM은 PyTorch와 같은 라이브러리를 사용하여 만들어지며, 고수준의 도구의 경우에는 허깅페이스(Hugging Face)의 Transformers 패키지나 KerasNLP 등을 사용할 수도 있을 것이다.

 

또한, 우리가 흔히 오픈 소스(Open Source) 모델이라고 부르는 Llama, Phi 같은 모델들은 엄밀히 따지면 오픈 웨이트(Open Weight) 모델이라고 부르는 것이 정확하다.

 

오픈 웨이트(Open Weight) 모델이란?
모델의 파라미터(weight)와 구조는 공개되어 있지만, 훈련되 사용된 데이터나 구체적인 훈련 방식은 공개되지 않은 경우가 많기 때문에 Open Weight Model이라고 부른다.
하지만, 가중치가 공개되어 있다는 것은 모델의 구조와 계산 순서를 알 수 있다는 의미로, 이를 활용하여 연구나 개발을 진행할 수 있다.

 

LLM의 개발 과정

NotebookLM 생성 이미지

1단계: 사전 훈련(Pre-training)

LLM 개발의 첫 단계는 사전 훈련으로 모델이 언어에 대한 폭넓은 이해를 쌓는 단계이다.
(대규모 비정형 데이터로 언어의 기초를 배움)

 

대부분, 인터넷 텍스트, 책, 논문 등 정답(Label)이 없는 대규모의 원시 텍스트(Raw Text) 데이터를 수집하고 학습 과정에서 다음 단어 예측 방식(Next Word Prediction)을 사용하여 n개의 단어가 입력되면 다음에 올 단어를 맞히도록 훈련한다.
(여기서는 입력 데이터에서 정답을 뽑아내기 때문에, 기술적으로는 지도 학습의 성격을 띈다.)

 

이 과정을 통해 만들어진 모델을 베이스 모델(Base Model) 또는 파운데이션 모델(Foundation Model)이라고 부른다.

이 모델은 문장을 완성하거나, 몇 개의 예시만으로 새로운 작업을 배우는 퓨샷 학습(Few-shot Learning) 능력을 갖추게 된다.

 

2단계: 미세 튜닝(Fine-tuning)

사전 훈련된 모델은 언어를 잘 알지만, 특정 작업을 수행하기에는 부족하다.

때문에, 사전 훈련된 모델에 레이블이 있는 데이터를 추가로 학습시켜 특정 작업이나 도메인에 특화된 모델을 만드는 과정인 미세 튜닝이 필요하다.

 

미세 튜닝은 목적에 따라 크게 지시 미세 튜닝(Instruction Fine-tuning)과 분류 미세 튜닝(Classification Fine-tuning)으로 두 가지로 나뉜다.

1. 지시 미세 튜닝(Instruction Fine-tuning)

• 데이터: 지시(명령)와 그에 대한 정답(Label)의 쌍으로 구성
• 목적: 사용자의 질문이나 명령에 적절히 대답하도록 만듦
  (보편적으로 사용되는 ChatGPT와 같이 사용자의 지시를 따르게 하는 과정)

 

2. 분류 미세 튜닝(Classification Fine-tuning)

• 데이터: 텍스트와 클래스 레이블로 구성
• 목적: 입력된 텍스트를 특정 카테고리로 분류
  (예를 들어, 스팸 메일인지 아닌지를 구분하는 모델을 만들 때 사용)

 

우리는 왜 사용자 정의 LLM을 만들까?

이미 똑똑한 LLM(ChatGPT, Gemini 등)이 있는데, 굳이 위와 같은 과정을 거쳐 사용자 정의 LLM(Custom LLM)을 만들까?

 

특정 도메인에 특화된 데이터를 학습시킨 사용자 정의 LLM은 ChatGPT와 같은 범용 LLM 보다 해당 분야에서 더 뛰어난 성능을 발휘할 수 있기 때문이다.
(특정 목적에 맞게 전문 지식을 가르침)

또한, 모델을 자체적으로 구축하여 사용자의 기기에 직접 배포하는 것으로 지시에 대한 응답 대기 시간을 줄일 수 있고, 데이터가 외부로 나가지 않아 개인정보 보호 측면에서도 큰 이점이 있다.

 

* 본 게시글은 밑바닥부터 만들면서 배우는 LLM 강의를 참고하여 작성되었습니다.