딥러닝 모델이 깊어질수록 발생하는 문제

딥러닝 모델은 층이 깊어질수록 더 복잡한 패턴을 학습할 수 있습니다.

하지만 신경망이 깊어질수록 여러 가지 문제가 발생할 수 있으며, 이러한 문제를 해결하지 않으면 AI 모델의 성능이 저하될 수 있습니다.

이번 수업에서는 딥러닝 모델이 깊어질수록 발생하는 주요 문제에 대해 알아보겠습니다.

신경망의 층이 깊어질수록, 앞쪽 층(입력에 가까운 층)에서 가중치가 제대로 조정되지 않는 문제가 발생할 수 있습니다.

이는 역전파 과정에서 기울기가 계속 작아지면서 가중치 업데이트가 거의 이루어지지 않는 현상입니다.

기울기 소실과 반대로, 신경망이 깊어질수록 기울기가 지나치게 커져서 가중치가 매우 큰 값으로 업데이트되는 문제가 발생할 수도 있습니다.

기울기 폭발 이슈가 발생하면 모델이 불안정해지고 학습이 실패할 가능성이 높아집니다.

층이 많아지면 모델이 훈련 데이터에 너무 잘 맞춰지는 과적합 문제가 발생할 수 있습니다. 이 경우, 새로운 데이터에 대한 일반화 성능이 저하됩니다.

층이 깊어질수록 학습에 필요한 연산량이 증가하여 학습 속도가 느려집니다.

일반적으로 연산량이 많아지면 학습 시간이 길어지고, GPU와 같은 하드웨어 자원이 더 많이 필요해집니다.

딥러닝 모델이 깊어질수록 더 복잡한 패턴을 학습할 수 있지만, 위와 같은 문제로 인해 성능이 저하될 수 있습니다.

이러한 문제를 해결하기 위해서는 활성화 함수를 활용해 기울기 소실 문제를 완화하거나 정규화, 표준화 등의 기법을 사용해야 합니다.

다음 수업에서는 일부 뉴런을 랜덤하게 제외하여 과적합을 방지하는 드롭아웃(Dropout) 기법에 대해 알아보겠습니다.