신경망이 학습하는 핵심 원리, 경사 하강법

경사 하강법(Gradient Descent)은 머신러닝과 딥러닝에서 AI 모델이 최적의 가중치를 찾기 위해 사용하는 알고리즘입니다.

쉽게 말해 경사 하강법은 마치 산을 내려가는 것과 같습니다.

예측값과 실제값의 차이를 최소화하는 길로 가장 빠르게 내려가기 위해, 가장 가파른 방향(기울기)을 찾아 한 걸음씩 이동하는 방식입니다.

AI 모델은 이 과정을 반복해서 점점 더 정확한 예측을 할 수 있도록 가중치를 최적화합니다.

복사
손실 함수 = 산의 높이
가중치 조정 = 내려가는 방향 조정
기울기 = 얼마나 가파른지 나타내는 값
학습률 = 한 번에 얼마나 이동할지 결정하는 크기

경사 하강법은 다음 단계를 반복하면서 가중치를 최적화합니다.

현재 가중치에서 예측값과 실제값의 차이를 계산합니다.

손실 함수를 사용해 오차를 수치화합니다.

복사
실제값: 1.0, 예측값: 0.6
손실(MSE) = (1.0 - 0.6)^2 = 0.16

손실 함수를 미분해서 얻은 기울기를 활용해, 현재 위치에서 가장 빠르게 손실 함수의 값을 줄일 수 있는 방향을 찾습니다.

복사
현재 가중치: 0.5
기울기(Gradient): -0.3 (감소 방향)

기울기 값을 기반으로 가중치를 조정합니다.

이때 학습률(Learning Rate, α)을 곱하여 한 번에 이동할 크기를 결정합니다.

수식은 다음과 같습니다.

$$\text{새로운 가중치} = \text{기존 가중치} - (\text{학습률} \times \text{기울기})$$

복사
기존 가중치: 0.8
기울기: -0.2
학습률: 0.1
새로운 가중치: 0.8 - (0.1 * -0.2) = 0.82

이 과정을 여러 번 반복하면 가중치가 점점 최적값에 가까워지면서 신경망이 더 정확한 예측을 하게 됩니다.

경사 하강법은 신경망이 최적의 가중치를 찾는 핵심 방법으로 알맞은 학습률 설정이 중요합니다.

학습률이 너무 크면 최적값을 지나칠 수 있고, 너무 작으면 학습이 느려질 수 있습니다.

이를 해결하기 위해 확률적 경사 하강법(SGD), 배치 경사 하강법(BGD), 모멘텀(Momentum), 아담(Adam) 등 다양한 경사 하강법 알고리즘이 사용됩니다.

다음 수업에서는 확률적 경사 하강법에 대해 자세히 알아보겠습니다.