[LLM] LLM이란?

LLM이란?

대규모 데이터에서 훈련된 많은 수의 파라미터를 가진 신경망

우선, 신경망은 하나의 거대한 수학 함수로써 머신러닝 알고리즘 중 하나로 텍스트와 이미지 같은 데이터 처리에 사용된다.

LLM은 보통 수백 또는 수 천억 개의 파라미터를 가지며, 모델 파라미터는 AI가 다음 단어를 예측하도록 훈련하는 과정에서 스스로 조정하는 내부 변수(가중치, 편향 등)를 의미한다.

LLM은 Transformer 라는 구조의 신경망을 사용한다?

Transformer는 원래 기계 번역 작업을 위해 고안되었는데, 오늘날 순차적인 텍스트 데이터를 처리하는데 탁월한 성능을 발휘하도록 발전되었다.

 

LLM은 어디에 위치할까?

NotebookLM 생성 이미지

대규모 언어 모델(LLM)은 생성형 AI(Gen AI) 중에서도 텍스트를 전문적으로 다루는 거대 모델로 딥러닝 모델 중에서도 Transformer구조를 기반으로 하여, 많은 수의 파라미터를 가진 모델을 지칭한다.

생성형 AI(Gen AI)와 LLM의 관계는?

생성형 AI는 새로운 컨텐츠를 만들어내는 모든 딥러닝 모델을 포함하는 더 넓은 개념이다.

즉, 텍스트나 이미지와 같은 오늘날 생성형 AI의 기반은 딥러닝 기술이라고 볼 수 있다.

 

AI의 학습 방식

머신러닝(ML) 모델을 훈련하는 방식은 크게 두 가지로 나뉜다.

지도학습

입력(Input)과 정답(Answer/Label)을 하나의 쌍으로 사용하여 모델을 훈련한다.

즉, 모델이 주어진 입력과 정답 사이의 패턴을 학습하는 방식이다.

NotebookLM 생성 이미지

예를 들어, 메일 내용(입력 데이터)과 스팸여부(레이블)를 모델에게 학습시키는 방식이 있다.

비지도학습

정답(Label)이 없는 입력(Input) 데이터만 사용하여 모델을 훈련한다.

모델이 데이터 자체의 내재된 구조나 패턴을 스스로 찾아내는 방식이다.

NotebookLM 생성 이미지

주로, 데이터의 수많은 특성 중 유용한 것만 추출하는 차원 축소나 고차원 데이터를 2D나 3D로 표현하여 패턴을 파악하는 시각화에 주로 이용된다.

그렇다면, LLM의 학습 방식은?

LLM은 문제에 대한 정답(Label)이 없다는 점에서 비지도 학습의 범주로 볼 수 있다.

다음 단어 예측하기 와 같은 작업을 통해 데이터의 맥락, 구조, 관계를 이해하는 모델을 훈련시키는 방식을 사용하기 때문에 자기지도학습(Self-Supervised Learning)이라고도 불린다.

 

* 본 게시글은 밑바닥부터 만들면서 배우는 LLM 강의를 참고하여 작성되었습니다.