활성화 함수 ( Activation Function )

 

활성화 함수의 특징

선형 함수로는 은닉층을 여러 번 추가하더라도 1회 추가한 것과 차이를 줄 수 없기 때문에 비선형 함수이다.

 

(1) 계단 함수

계단 함수

현재는 거의 쓰이지 않지만 인공신경망을 배울 때 가장 먼저 접하는 활성화 함수.

 

(2) 시그모이드(Sigmoid) 함수

시그모이드 함수

출력 값은 0과 1 사이의 값으로 출력하며, 이진 분류에 사용한다.

미분해서 기울기를 구하는 과정에서 0이나 1에 가까워질수록 기울기 소실 문제가 발생한다.

이로 인해 은닉층에 시그모이드를 주로 사용하지 않고 출력층에 사용한다.

 

(3) 소프트맥스(Softmax) 함수

소프트맥스 함수

시그모이드와 마찬가지로 출력층에서 주로 사용된다.

세 가지 이상의 다중 클래스 분류에 사용한다.

 

(4) 렐루(ReLU) 함수

렐루 함수

음수 값은 0으로 출력하고 양수 값은 입력 값 그대로 반환한다.

특정 양수 값에 수렴하지 않아 깊은 신경망에서 시그모이드보다 더 좋은 성능을 보인다.

시그모이드와 하이퍼볼릭탄젠트에 비해 단순 임계값으로 연산 속도가 빠르다.

* 죽은 렐루 : 입력 값이 음수일 때, 기울기가 0이므로 쓰이기가 힘든 문제를 일컫는다.

 

(5) 리키 렐루(Leaky ReLU) 함수

리키 렐루 함수

죽은 렐루 문제를 보완하기 위한 렐루의 변형 함수.

입력 값이 음수일 때, 기울기가 0이 되는 것을 막기 위해 0이 아닌 0에 가까운 매우 작은 값으로 반환.

 

(6) 하이퍼볼릭탄젠트(Hyperbolic tangent function) 함수

하이퍼볼릭탄젠트 함수

입력값을 -1에서 1사이의 값으로 반환.

시그모이드와 마찬가지로 -1과 1에 가까워질수록 기울기 소실 문제 발생.

비교적 시그모이드보다 반환 값의 폭이 커 기울기 소실이 적은 편이므로 은닉층에 시그모이드보다 선호.