3가지만 기억하세요: 학습률, 배치 크기, 에폭

앞서 소개한 모든 하이퍼파라미터를 모두 기억할 필요는 없습니다. 대부분의 경우 파인튜닝 할 때 학습률, 배치 크기, 에폭 수만 기억하면 됩니다.

OpenAI 플랫폼에서 AI 모델을 파인튜닝할 때도 이 3가지 하이퍼파라미터만 설정할 수 있습니다.

학습률은 AI 모델이 학습하는 속도를 결정합니다.

모델은 데이터를 통해 학습할 때, 예측에 필요한 각 요소가 얼마나 중요한지를 나타내는 가중치(Weights)를 조정합니다.

예를 들어, 주택 가격을 예측하는 모델은 주택의 면적, 위치, 방의 개수 등 여러 요소를 입력으로 받아 가격을 예측합니다. 각 요소가 주택 가격에 미치는 영향은 다르고, 가중치는 각 요소가 얼마나 중요한지를 나타내는 값입니다.

학습률은 모델이 학습할 때 가중치를 얼마나 빠르게 또는 천천히 조정할지를 결정하는 값입니다. 학습률이 크면 가중치를 크게 조정하고, 학습률이 작으면 가중치를 조금씩 조정합니다.

• 낮은 학습률: 학습이 천천히 진행되며, 모델이 최적의 가중치를 찾기 위해 많은 시간이 필요합니다. 하지만 잘못된 방향으로 크게 벗어나지 않으므로, 안정적으로 학습할 수 있습니다.

• 높은 학습률: 학습이 빠르게 진행되지만, 최적의 가중치를 지나치거나 학습이 불안정해질 수 있습니다. 잘못된 방향으로 크게 벗어날 위험이 있습니다.

배치 크기는 모델이 한 번에 학습하는 데이터의 양을 의미합니다. 데이터를 여러 개로 나누어 학습하는 이유는 컴퓨터의 메모리 사용량을 관리하고 학습 속도를 높이기 위해서입니다.

• 작은 배치 크기: 모델이 자주 가중치를 업데이트하고 컴퓨팅 자원(메모리)를 적게 사용합니다. 학습이 더 세밀하게 이루어질 수 있지만, 학습이 느리게 진행될 수 있습니다.

• 큰 배치 크기: 모델이 가중치를 덜 자주 업데이트하고 컴퓨팅 자원을 많이 사용합니다. 학습이 빠르게 진행되지만, 학습 데이터에 과적합(Overfitting)되어 새로운 데이터에 대한 성능이 떨어질 수 있습니다.

에폭 수는 모델이 전체 데이터를 몇 번이나 반복해서 학습할 것인지를 의미합니다. 에폭 1번은 모든 학습 데이터를 한 번씩 사용헤 학습하는 과정을 말합니다.

에폭 수가 많으면 모델이 더 많이 반복해서 학습하게 되어 더 잘 배울 수 있지만, 너무 많이 반복하면 학습한 데이터를 외우기만 하고 이해하지 못하는 것과 같은 상황(과적합)이 될 수 있습니다.

• 적은 에폭 수: 모델이 충분히 학습하지 못해 성능이 낮아질 수 있습니다.

• 많은 에폭 수: 모델이 데이터를 과도하게 학습하여, 학습되지 않은 새로운 데이터를 잘 처리하지 못하는 과적합(Overfitting) 현상이 발생할 수 있습니다.