가이드라인

한 번에 학습하는 데이터의 규모, 배치 크기(Batch Size)

배치 크기(Batch Size)는 한 번의 학습에 사용되는 데이터의 양을 의미합니다. 예를 들어, 배치 크기가 32라면, 한 번에 32개의 데이터를 사용해 모델을 학습시킵니다.

각 배치는 모델의 가중치를 업데이트하는 데 사용되며, 배치 크기는 모델의 성능, 학습 시간, 메모리 사용량 등에 큰 영향을 미칩니다.


일반적으로 사용하는 배치 크기

일반적으로 사용하는 배치 크기는 16, 32, 64, 128, 256, 512입니다.

권장되는 배치 크기는 AI 모델의 종류, 데이터셋의 크기, 하드웨어 사양 등에 따라 달라질 수 있습니다.

GPU 메모리가 충분한 경우 더 큰 배치 크기를 사용할 수 있고, 메모리가 제한적인 경우에는 더 작은 배치 크기를 사용하게 됩니다.

예를 들어 4GB VRAM을 가진 GPU로 일반적인 AI를 학습시킬 경우, 배치 크기를 16-32로 설정하는 것이 적절합니다.


배치 크기가 클 때의 장단점


장점

  1. 빠른 학습: 한 번에 많은 데이터를 처리하므로 학습 속도가 빨라집니다.

  2. 안정된 학습: 배치 크기가 크면 한 번에 많은 데이터를 사용하게 되어, 그 데이터들이 전체 데이터의 특성을 잘 대표할 확률이 높습니다. 따라서 모델의 성능이 예측 가능한 범위 내에서 조금씩 변하게 됩니다.


단점

  1. 메모리 사용량 증가: 배치 크기가 크면 많은 데이터를 한 번에 처리해야 하므로, 더 많은 메모리가 필요합니다. 메모리가 부족하면 학습이 진행되지 않을 수 있습니다.

  2. 과적합 가능성: 너무 큰 배치 크기를 사용하면 모델이 훈련 데이터에 너무 맞춰져서, 새로운 데이터에 잘 대응하지 못하는 문제가 발생할 수 있습니다.

배치 크기가 작을 때는 이와 반대의 특성(학습 속도가 느리지만, 메모리 사용량이 적고 과적합 최소화)을 갖습니다.


실습

오른쪽 실습 화면에서 하이퍼파라미터 전문가에게 궁금한 내용을 문의해 보세요.

Mission
0 / 1

배치 크기가 지나치게 클 때 단점으로 가장 적절한 것은 무엇일까요?

느린 학습 속도
불안정한 학습
메모리 사용량 증가
데이터 손실 위험

가이드라인

AI 튜터

배포

디자인

업로드

수업 노트

즐겨찾기

도움말

파인튜닝 모델을 생성해 주세요