학습을 반복하는 횟수, 에폭 수(Number of Epochs)

에폭은 전체 데이터셋을 한 번 학습하는 과정을 의미합니다. 즉, 모델이 모든 학습(Training) 데이터를 한 번 다 사용할 때까지의 과정을 한 에폭이라고 합니다.

예를 들어, 데이터셋에 1000개의 샘플이 있고, 모델을 10번 에폭으로 학습시키면, 모델은 이 1000개의 샘플을 10번 반복해서 학습하게 됩니다.

이전 수업에서 다룬 배치(Batch)를 처리하는 단위를 스텝(Step)이라고 하며, 에폭은 스텝의 묶음입니다.

예를 들어 데이터셋이 1000개의 샘플로 이루어져 있고, 배치 크기가 100이라면, 한 에폭에는 10번의 스텝이 필요합니다.

에폭 수는 데이터셋과 모델의 복잡성, 그리고 문제의 특성에 따라 다릅니다. 일반적으로 몇 십에서 몇 백 에폭까지 사용하는 것이 일반적입니다.

• 간단한 모델이나 작은 데이터셋: 10~50 에폭

• 중간 정도 크기의 모델이나 데이터셋: 50~200 에폭

• 큰 모델 및 데이터셋: 200 에폭 이상

일반적으로 최적의 에폭 수는 실험적으로 결정되며, 검증 데이터셋에서의 성능이 개선되지 않을 때 훈련을 멈추는 조기 종료(Early Stopping) 등의 기법을 통해 최적의 에폭 수를 조절할 수 있습니다.

• 수렴 가능성 증가: 작은 학습률(learning rate)로 에폭 수가 많으면, 모델이 최적의 가중치에 수렴할 가능성이 높아집니다.

• 복잡한 문제 해결: 매우 복잡한 문제나 데이터 세트를 다룰 때, 충분한 에폭 수는 모델이 문제를 더 잘 이해하고 해결하도록 돕습니다.

• 과적합(Overfitting): 너무 많은 에폭으로 학습하면 모델이 훈련 데이터에 과적합될 수 있습니다. 즉 모델이 훈련 데이터에 너무 맞추어져, 테스트 데이터나 실제 데이터에 대해 일반화 능력이 떨어지게 됩니다.

• 시간 소모: 에폭 수가 많아질수록 훈련 시간이 길어지고, 컴퓨팅 자원과 시간의 낭비로 이어질 수 있습니다.