Note

활성화 함수의 특징 선형 함수로는 은닉층을 여러 번 추가하더라도 1회 추가한 것과 차이를 줄 수 없기 때문에 비선형 함수이다. (1) 계단 함수 현재는 거의 쓰이지 않지만 인공신경망을 배울 때 가장 먼저 접하는 활성화 함수. (2) 시그모이드(Sigmoid) 함수 출력 값은 0과 1 사이의 값으로 출력하며, 이진 분류에 사용한다. 미분해서 기울기를 구하는 과정에서 0이나 1에 가까워질수록 기울기 소실 문제가 발생한다. 이로 인해 은닉층에 시그모이드를 주로 사용하지 않고 출력층에 사용한다. (3) 소프트맥스(Softmax) 함수 시그모이드와 마찬가지로 출력층에서 주로 사용된다. 세 가지 이상의 다중 클래스 분류에 사용한다. (4) 렐루(ReLU) 함수 음수 값은 0으로 출력하고 양수 값은 입력 값 그대로 ..

역전파 과정에서 입력층으로 갈수록 기울기가 점차적으로 작아지는 현상이 발생할 수 있다. 입력층에 가까워질수록 가중치 업데이트가 잘 이루어지지 않는 것을 기울기 소실 ( Gradient Vanishing ) 이라고 한다. 반대의 경우를 기울기 폭주 ( Exploding ) 라고한다. 1. ReLU와 Leaky ReLU 시그모이드 함수를 사용할 때, 역전파 과정에서 기울기가 점차 사라져 제대로 작동하지 않는 기울기 소실이 발생할 수 있다. 1) 은닉층의 활성화 함수로 시그모이드를 사용하지 않는다. 2) Leaky ReLU를 사용하면 모든 입력값에 대해 기울기가 0에 수렴하지 않는다. 2. 그래디언트 클리핑 ( Gradient Clipping ) 기울기 값을 임계값이 넘지 않도록 잘라내어 임계치만큼 크기를 감..

1. 데이터 양 증가 학습하고자 하는 모델 데이터 양이 적을수록, 학습 데이터의 특정 패턴이나 노이즈까지 쉽게 학습되므로 과적합 발생 확률이 증가한다. 즉, 데이터 양이 많을수록 학습 데이터의 일반적인 특성을 학습할 수 있으며, 과적합 확률이 줄어든다. 이미지 데이터는 데이터 증식을 많이 사용한다. 여기서 데이터 증식이란, 기존 학습시킬 데이터를 변형하거나 노이즈를 추가하여 학습 데이터의 양을 늘리는 것을 말한다. 2. 모델 복잡도 조절 회귀분석에서 독립 변수가 많을수록 모델의 설명력은 좋아질 수 있지만 과적합이 발생할 수 있다. 독립 변수간 다중 공산성이나 차원의 저주가 발생할 수 있기 때문이다. 이를 해결하기 위해 차원 축소를 실행하여 모델의 복잡도를 줄인다. 인공신경망에서는 은닉층의 갯수나 파라미터..

협업 필터링의 유형은 최근접 이웃 기반은 크게 사용자 기반과 아이템 기반으로 나뉜다. 최근접 이웃 기반 사용자 기반 특정 사용자와 비슷한 고객들을 기반으로 비슷한 고객들이 선호하는 또 다른 상품을 추천한다. 특정 사용자와 비슷한 상품을 구매해온 고객들은 비슷한 부류의 고객으로 간주한다. 예시) 비슷한 고객들이 구매한 상품 목록 아이템 기반 특정 상품과 유사한 좋은 평가를 받은 비슷한 상품을 추천한다. 사용자들에게 특정 상품과 비슷한 평가를 받은 품목들은 비슷한 상품으로 간주한다. 예시) 상품을 구매한 다른 고객들이 구매한 다른 상품 목록 일반적으로 사용자 기반보다는 아이템 기반이 더 사용된다. 같은 상품을 구매한 사람을 유사한 사람으로 판단하기 어렵기 때문이다. CF 구현 순서 아이템 - 사용자 행렬 데..

1. 유클리드 거리 유클리드 거리는 좌표 평면 위에서 두 점 사이의 직선거리를 구하는 공식이다. 자연어 처리에서는 단어 사이의 거리를 나타내고자 하기 위해 유클리드 거리를 구한다. 위 식은 다차원에서 유클리드 공식이다. 2. 코사인 유사도 코사인 유사도는 직접적인 거리 방식이 아닌 두 벡터 간의 코사인 각도를 이용한 유사도 방식이다. 코사인 유사도는 -1 에서 1 사이의 값을 가지며, -1은 반대 방향, 0은 유사하지 않음, 1은 유사함을 나타낸다. 3. 자카드 유사도 자카드 유사도는 두 문서에서 공통된 비율로 유사한지를 알아보는 방식이다. 즉, 두 문서의 합집합에서 가지고 있는 공통된 벡터 교집합의 비율로 유사도를 측정하는 것이다. 자카드 유사도는 0에서 1사이 값을 가지며, 1에 가까울수록 두 문서는..