신경망 학습을 돕는 가중치 초기화 기법

신경망은 학습을 통해 데이터에서 패턴을 찾아내지만, 처음에는 가중치가 아무런 정보도 갖고 있지 않습니다.

따라서 가중치를 적절한 값으로 설정하지 않으면 학습이 제대로 이루어지지 않을 수 있습니다.

가중치 초기화(Weight Initialization)는 신경망의 가중치를 처음에 어떤 값으로 설정할지 결정합니다.

알맞은 초기화 방식이 없으면 학습 속도가 느려지거나 모델이 최적값을 찾지 못하는 문제가 발생할 수 있습니다.

신경망에서 가중치는 학습을 통해 최적의 값을 찾아야 하지만, 초기 가중치가 너무 크거나 작으면 학습이 제대로 이루어지지 않을 수 있습니다.

가중치가 너무 크면 역전파 과정에서 기울기가 지나치게 커져 학습이 불안정해질 수 있습니다.

반대로 가중치가 너무 작으면 기울기가 소실되어 가중치 업데이트가 거의 이루어지지 않을 수 있습니다.

예를 들어 초기 가중치를 0으로 설정하면, 모든 뉴런이 같은 값을 학습하게 되어 모델이 제대로 동작하지 않습니다.

주요 가중치 초기화 기법은 다음과 같습니다.

Xavier 초기화는 가중치 값이 너무 크거나 작아지지 않도록 입력과 출력 뉴런 개수를 고려하여 초기 가중치를 설정하는 방법입니다.

이 방식은 주로 시그모이드, 하이퍼볼릭 탄젠트 활성화 함수와 함께 사용됩니다.

He 초기화는 ReLU 활성화 함수와 잘 어울리는 방법으로, 보다 큰 값의 가중치를 설정하여 기울기 소실을 방지합니다.

주로 ReLU 활성화 함수와 함께 사용됩니다.

정규 분포 및 균등 분포 초기화 방법은 가중치를 특정 분포에서 무작위로 초기화하는 방식입니다.

정규 분포 초기화는 평균이 0이고 표준편차를 조정하여 가중치를 설정하며, 균등 분포 초기화는 일정한 범위 내에서 랜덤한 값으로 가중치를 설정합니다.

가중치 초기화가 올바르게 적용되어야 기울기 소실과 폭발을 방지할 수 있으며, 알맞은 초기값으로 모델의 수렴 속도를 높일 수 있습니다.

다음 수업에서는 L1 & L2 정규화(Regularization) 기법에 대해 알아보겠습니다.