Note

활성화 함수의 특징 선형 함수로는 은닉층을 여러 번 추가하더라도 1회 추가한 것과 차이를 줄 수 없기 때문에 비선형 함수이다. (1) 계단 함수 현재는 거의 쓰이지 않지만 인공신경망을 배울 때 가장 먼저 접하는 활성화 함수. (2) 시그모이드(Sigmoid) 함수 출력 값은 0과 1 사이의 값으로 출력하며, 이진 분류에 사용한다. 미분해서 기울기를 구하는 과정에서 0이나 1에 가까워질수록 기울기 소실 문제가 발생한다. 이로 인해 은닉층에 시그모이드를 주로 사용하지 않고 출력층에 사용한다. (3) 소프트맥스(Softmax) 함수 시그모이드와 마찬가지로 출력층에서 주로 사용된다. 세 가지 이상의 다중 클래스 분류에 사용한다. (4) 렐루(ReLU) 함수 음수 값은 0으로 출력하고 양수 값은 입력 값 그대로 ..