음수는 제거하고 양수만 활성화하는 ReLU 함수

ReLU(Rectified Linear Unit) 함수는 인공 신경망에서 가장 널리 사용되는 활성화 함수로, 입력값이 0보다 크면 그대로 출력하고, 0 이하이면 0을 출력하는 간단한 연산을 수행합니다.

이전 수업에서 배운 시그모이드 함수(Sigmoid Function)는 모든 값을 0과 1 사이로 변환했지만, ReLU는 음수를 제거하고 양수만 남기는 방식으로 동작합니다.

Copy
입력:  3  → 출력: 3
입력:  0  → 출력: 0
입력: -5  → 출력: 0

ReLU 함수는 신경망에서 뉴런이 활성화될지를 결정하는 역할을 합니다.

양수인 경우에는 그대로 전달하여 정보를 유지하고, 음수인 경우에는 0으로 만들어 계산을 단순화합니다.

ReLU 함수는 다음 수식으로 정의됩니다.

$$\text{ReLU}(x) = \max(0, x)$$

입력값이 0보다 크면 그대로 출력하고, 0 이하이면 0을 출력합니다.

• 입력값이 양수이면 그대로 출력합니다.

• 입력값이 0 이하이면 0을 출력합니다.

Copy
입력:  5  → 출력: 5
입력:  0  → 출력: 0
입력: -3  → 출력: 0

ReLU 함수는 딥러닝에서 가장 많이 사용되는 활성화 함수 중 하나입니다.

첫 번째 장점은 기울기 소실 문제를 해결한다는 것입니다.

시그모이드 함수는 큰 값에서 기울기가 거의 0이 되어 학습이 어려운 문제가 있었지만, ReLU는 이러한 문제가 발생하지 않습니다.

두 번째 장점은 계산이 간단하고 빠르다는 것입니다.

ReLU 함수는 max(0, x) 연산만 수행하므로, 곱셈과 나눗셈이 필요한 시그모이드와 같은 다른 활성화 함수보다 계산 속도가 빠릅니다.

ReLU 함수에도 단점이 있습니다. 가장 대표적인 문제는 죽은 뉴런(Dead Neuron) 문제입니다.

입력값이 0 이하인 경우 항상 0을 출력하므로, 일부 뉴런이 학습 과정에서 영구적으로 비활성화될 수 있습니다.

이를 해결하기 위해 Leaky ReLU나 ELU 같은 변형된 ReLU 함수가 사용됩니다.

또한, 입력값이 매우 클 경우 출력값도 무한히 커질 수 있어 모델이 불안정해질 수도 있습니다.

이 문제를 해결하기 위해 ReLU를 변형한 클립드 ReLU(Clipped ReLU) 등이 사용됩니다.

ReLU 함수는 딥러닝에서 가장 널리 사용되는 활성화 함수 중 하나로, 계산이 간단하고 학습 속도가 빠릅니다.

다음 수업에서는 소프트맥스 활성화 함수에 대해 알아보겠습니다.