활성화 함수 비교 - 시그모이드, ReLU, 소프트맥스
활성화 함수는 인공 신경망에서 입력값을 변환해 다음 층으로 전달하는 역할을 합니다.
지금까지 학습한 시그모이드(Sigmoid)
, ReLU(Rectified Linear Unit)
, 소프트맥스(Softmax)
함수는 각각의 특성과 장단점이 있습니다.
활성화 함수 비교
함수 | 출력 범위 | 특징 및 장점 | 단점 및 한계 |
---|---|---|---|
시그모이드 | (0, 1) | 확률적 해석 가능, 이진 분류에 적합 | 큰 값에서 기울기 소실 발생 |
ReLU | (0, ∞) | 기울기 소실 문제 완화, 계산 간단 | 0 이하의 값에서 뉴런 비활성화 |
소프트맥스 | (0, 1) | 다중 클래스 분류에 적합, 확률 값 제공 | 한 클래스의 값이 다른 클래스에 영향을 줌 |
활성화 함수는 신경망 모델의 성능에 중요한 영향을 미칩니다.
문제의 특성에 따라 적절한 활성화 함수를 선택하는 것이 중요합니다.
다음 수업에서는 지금까지 배운 내용을 점검하는 간단한 퀴즈를 풀어보겠습니다.
Mission
0 / 1
다음 중 다중 클래스 분류에 가장 적합한 활성화 함수는 무엇인가요?
시그모이드
ReLU
소프트맥스
탠하이퍼블릭
Lecture
AI Tutor
Design
Upload
Notes
Favorites
Help