Large Language Model 이해하기 - ChatGPT는 어떻게 작동하는가?

우리가 매일 사용하는 ChatGPT는 어떻게 작동하는가?

What is AA of ChatGPT?

---

예를 들어서..

 

내가 입력 : 

"나는 아침에 커피를..."  

 

ChatGPT의 대답 :

"...마시고 학교에 갔다." 

 

이러한 대답을 내놓는 원리는 Transformer라는 구조 덕분이다.

 

---

LLM은 Transformer의 확장 버전이라고 생각하면 된다.

 

 

그러면 Transformer는 어떻게 작동할까?

 

아래 웹사이트에 자세히 나와 있다.

https://poloclub.github.io/transformer-explainer/

Transformer Explainer: LLM Transformer Model Visually Explained

 

일단, Transformer는 이전 모델과 달리 문장 전체를 한 번에 보고, 단어들 간의 관계를 계산한다.

 

예시)

 "나는 강아지를 산책시켰다. 그리고 그녀는 사과를 먹었다."

여기서 "그녀는"이 누구를 가리키는지 정확히 이해하려면 앞 문장을 기억하고 있어야 한다.

Transformer는 각 단어가 다른 단어와 얼마나 관련 있는지를 점수로 계산해서 이 관계를 파악한다.

 

아주 간단히 요약하자면

Transformer의 작동 흐름:
1) Input Embedding + 위치 정보(Positional Encoding)
2) Self-Attention → Feed Forward → Layer Normalization
3) (이 과정을 여러 번 반복)

 

 

단어를 Token Embedding + Positional Encoding(위치 파악) 한다.