GPT란 무엇일까?

GPT는 Generative Pre-trained Transformer의 약자로, 2017년에 Google의 연구팀이 발표한 트랜스포머 모델을 기반으로 대규모 데이터셋을 활용해 사전 학습된 생성형 인공지능 모델을 의미합니다.

트랜스포머: 문장에서 단어 간 관계를 한번에 파악하는 효율적인 인공지능 아키텍처

이제 GPT는 문서 요약, 번역, 글쓰기, 코딩 등 텍스트가 중심이 되는 거의 모든 작업에 활용되고 있습니다.

이번 수업에서는 GPT가 무엇을 의미하고, 어떻게 이토록 큰 주목을 받게 되었는지를 알아보겠습니다.

GPT는 다음 세 단어의 약자입니다.

• Generative: 인공지능 모델이 텍스트를 생성(Generate)할 수 있음

• Pre-trained: 사전 학습을 통해 대량의 데이터를 미리 학습함

• Transformer: 트랜스포머 아키텍처 기반의 인공지능 모델 활용

이와 같이 GPT는 "트랜스포머 구조를 기반으로 사전 학습된 텍스트 생성 모델"을 의미합니다.

쉽게 말하면, 미리 수많은 문서를 학습해서, 새로운 문장을 자연스럽게 만들어내는 AI입니다.

GPT는 문장의 전체 맥락을 한 번에 파악하는 트랜스포머 모델을 대중화했습니다.

이전의 RNN 기반 모델은 문장을 순서대로 처리해 텍스트를 생성하는데 시간이 오래 걸렸지만, GPT는 모든 단어를 동시에 비교하며 빠르고 정확하게 문장을 이해하고 생성합니다.

또한 사전 학습된 대규모 모델에 미세 조정(Fine-tuning, 파인튜닝) 기능을 제공하여, 요약, 번역과 같은 특정 작업을 위해 GPT를 재훈련 할 수 있습니다.

다음 수업에서는 GPT의 탄생 배경과 발전 역사에 대해 자세히 알아보겠습니다.