모델의 성능을 좌우하는 하이퍼파라미터

시험 준비를 위한 학습 계획을 세울 때 학습 시간과 휴식 시간, 공부 방법 등을 정하는 것은 성적에 큰 영향을 미칩니다.

마찬가지로 AI 모델을 훈련시킬 때도 하이퍼파라미터(Hyperparameters)를 설정하여 모델의 학습 방법을 결정합니다.

하이퍼파라미터는 모델이 학습하는 방식을 결정하는 값으로, 훈련 전에 사람이 직접 설정해야 하는 요소입니다.

하이퍼파라미터는 모델이 학습하면서 자동으로 조정되는 가중치나 편향와는 다릅니다. 하이퍼파라미터는 학습 전에 미리 설정해야 하며, 모델 성능에 큰 영향을 미칩니다.

학습이 잘 진행되어서 어떠한 문제에도 훌륭한 예측을 수행하는 모델은 수렴(Convergence)되었다고 합니다.

반대로 학습이 잘 되지 않아 성능이 떨어지는 모델은 발산(Divergence)되었다고 합니다.

하이퍼파라미터는 모델의 수렴, 발산 여부를 결정하는 중요한 요소이므로 주요 하이퍼파라미터의 개념을 명확히 이해해야 합니다.

지나치게 많은 학습량을 단기간에 공부하다 보면 오히려 혼란이 생겨 시험 성적이 나빠질 수 있는 것처럼, AI를 학습시킬 때도 최적화된 학습 전략이 필요합니다.

AI 학습 전략을 구성하는 주요 하이퍼파라미터는 다음과 같습니다.

모델이 가중치를 얼마나 빠르게 조정할지를 결정합니다.

너무 크면 최적의 값을 찾지 못하고 튕겨 나가고, 너무 작으면 학습 속도가 느려질 수 있습니다.

한 번의 학습 단계에서 몇 개의 데이터를 사용할지를 결정합니다.

작은 배치는 더 세밀한 학습이 가능하지만 속도가 느려지고, 큰 배치는 빠르게 학습할 수 있지만 메모리와 같은 컴퓨팅 자원을 많이 사용합니다.

모델이 전체 데이터를 몇 번 반복해서 학습할지를 결정합니다.

너무 적으면 충분히 학습하지 못하고, 너무 많으면 과적합이 발생할 수 있습니다.

하이퍼파라미터는 모델의 학습 과정과 성능에 큰 영향을 미치기 때문에, 사람의 학습 방식처럼 신중하게 설정하고 조정해야 합니다.

다음 수업에서는 학습률에 대해 자세히 알아보겠습니다.