한 번에 학습할 데이터 양을 결정하는 배치 크기

공부할 때 한 번에 많은 문제를 풀면 집중력이 떨어지고 비효율적일 수 있습니다.

반대로 한 문제씩 너무 느리게 공부하면 전체 진도를 끝내기 어려울 수도 있습니다.

이와 유사하게, 머신러닝 모델을 학습할 때 한 번의 학습 단계에서 사용할 데이터의 양을 결정하는 하이퍼파라미터가 배치 크기(Batch Size)입니다.

배치 크기는 모델이 한 번의 업데이트에서 얼마나 많은 데이터를 학습할지를 결정합니다.

모델은 데이터를 입력받아 가중치를 조정하면서 학습을 진행합니다.

이때 배치 크기에 따라 모델이 데이터를 처리하는 방식이 달라집니다.

한 번의 학습 단계에서 적은 데이터를 사용하므로 메모리 사용량이 적습니다.

하지만 모델이 가중치를 자주 업데이트하기 때문에 학습이 불안정할 수 있습니다.

최적의 가중치를 찾는 데 시간이 오래 걸릴 수도 있습니다.

한 번의 학습 단계에서 많은 데이터를 사용하므로 학습이 더 안정적입니다.

하지만 메모리 사용량이 많아지고, 가중치 업데이트가 느려질 수 있습니다.

배치 크기는 일반적으로 32, 64, 128과 같은 2의 거듭제곱 값을 사용합니다.

이러한 값이 하드웨어 가속기(GPU)에서 연산을 최적화하는 데 유리하기 때문입니다.

배치 크기를 설정할 때는 다음과 같은 점을 고려해야 합니다.

다음 수업에서는 모델이 전체 데이터를 몇 번 반복해서 학습할지를 결정하는 에폭(Epoch)에 대해 알아보겠습니다.