이상과 현실과의 거리, 손실 함수(Loss Function)

손실 함수는 모델이 예측한 값과 실제 값 사이의 차이를 측정하는 함수입니다. 모델의 예측 값과 실제 값(정답)을 입력으로 받아, 손실(오차)을 출력으로 반환합니다.

손실 함수의 값이 작을수록 모델의 예측이 실제 값과 가깝다는 의미이며, 손실 함수의 값이 클수록 모델의 예측이 실제 값과 멀다는 의미입니다. AI 모델 학습의 목표는 손실 함수의 값이 작아지도록 하는 것입니다.

예를 들어 화살 쏘기 게임을 하는 경우, 손실 함수는 다음과 같이 생각할 수 있습니다.

• 실제값: 화살이 맞춰야 하는 정확한 목표점 (과녁 중심)

• 예측값: 화살이 실제로 맞춘 지점

• 과녁 중심과의 거리 계산: 화살이 과녁 중심에서 얼마나 벗어났는지 계산 (손실 함수)

• 손실함수 입력: 과녁 중심(실제 값)과 화살이 맞은 위치(예측 값)

• 손실함수 출력: 화살이 과녁 중심에서 얼마나 벗어났는지 계산된 값

화살이 과녁 중심에 얼마나 가까이 갔는지를 점수로 매기는 것이 손실 함수의 역할입니다. 화살이 중심에서 멀어질수록 점수(손실)가 높아지고, 중심에 가까울수록 점수(손실)가 낮아집니다.

손실 함수의 목표는 항상 점수를 낮게 유지하는 것입니다, 즉 화살을 중심에 가깝게 쏘는 것입니다.

MSE (Mean Squared Error, 평균 제곱 오차)

예측값과 실제값의 차이를 제곱하여 평균을 구하는 방식입니다. 과녁에 화살을 쏜 후, 화살과 중심 사이의 거리의 제곱을 평균 내는 것과 같습니다.

• 수식: (예측값 - 실제값)^2

MAE (Mean Absolute Error, 평균 절대 오차)

예측값과 실제값의 차이를 절대값으로 변환하여 평균을 구하는 방식입니다. 과녁에 화살을 쏜 후, 화살과 중심 사이의 거리의 절대값을 평균 내는 것과 같습니다.

• 수식: |예측값 - 실제값|

Cross-Entropy Loss

분류 문제에서 사용되는 손실 함수로, 모델이 예측한 확률 분포와 실제 라벨(Label, 또는 레이블) 간의 차이를 측정합니다. 화살이 과녁 중심에 맞는 정확도를 측정하는 것과 같습니다.

• 이진 분류 수식: -(실제값 * log(예측값) + (1 - 실제값) * log(1 - 예측값))