한 번에 학습하는 데이터의 규모, 배치 크기(Batch Size)

배치 크기(Batch Size)는 한 번의 학습에 사용되는 데이터의 양을 의미합니다. 예를 들어, 배치 크기가 32라면, 한 번에 32개의 데이터를 사용해 모델을 학습시킵니다.

각 배치는 모델의 가중치를 업데이트하는 데 사용되며, 배치 크기는 모델의 성능, 학습 시간, 메모리 사용량 등에 큰 영향을 미칩니다.

일반적으로 사용하는 배치 크기는 16, 32, 64, 128, 256, 512입니다.

권장되는 배치 크기는 AI 모델의 종류, 데이터셋의 크기, 하드웨어 사양 등에 따라 달라질 수 있습니다.

GPU 메모리가 충분한 경우 더 큰 배치 크기를 사용할 수 있고, 메모리가 제한적인 경우에는 더 작은 배치 크기를 사용하게 됩니다.

예를 들어 4GB VRAM을 가진 GPU로 일반적인 AI를 학습시킬 경우, 배치 크기를 16-32로 설정하는 것이 적절합니다.

1. 빠른 학습: 한 번에 많은 데이터를 처리하므로 학습 속도가 빨라집니다.

2. 안정된 학습: 배치 크기가 크면 한 번에 많은 데이터를 사용하게 되어, 그 데이터들이 전체 데이터의 특성을 잘 대표할 확률이 높습니다. 따라서 모델의 성능이 예측 가능한 범위 내에서 조금씩 변하게 됩니다.

1. 메모리 사용량 증가: 배치 크기가 크면 많은 데이터를 한 번에 처리해야 하므로, 더 많은 메모리가 필요합니다. 메모리가 부족하면 학습이 진행되지 않을 수 있습니다.

2. 과적합 가능성: 너무 큰 배치 크기를 사용하면 모델이 훈련 데이터에 너무 맞춰져서, 새로운 데이터에 잘 대응하지 못하는 문제가 발생할 수 있습니다.

배치 크기가 작을 때는 이와 반대의 특성(학습 속도가 느리지만, 메모리 사용량이 적고 과적합 최소화)을 갖습니다.

오른쪽 실습 화면에서 하이퍼파라미터 전문가에게 궁금한 내용을 문의해 보세요.