선형 회귀

회귀란 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법을 통칭한다.

머신러닝 회귀 예측 핵심은 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀 계수를 찾아내는 것이다.

1. 회귀의 유형 

(1) 회귀 계수 결합에 의한 유형

선형 회귀와 비선형 회귀

(2) 독립변수 개수에 따라

1개 : 단순 선형 회귀, n개 : 다중 선형회귀

2. 선형 회귀의 종류

(1) 일반 선형 회귀 :  RSS (Residual Sum of Squares)를 최소화하는 회귀 계수를 찾아 최적화하고, 규제를 적용하지 않은 모델.

(2) 릿지(Ridge) : 선형 회귀에 L2 규제를 적용한 회귀 모델

(3) 라쏘(Lasso) : 선형 회귀에 L1 규제를 적용한 회귀 모델

(4) 엘라스틱넷(ElasticNet) : L1, L2 규제를 함께 결합한 모델

(5) 로지스틱 회귀(Logistic Regression) : 분류에 사용되는 선형 모델

3. RSS

회귀의 비용함수

RSS는 비용(Cost)이며 w 변수로 구성되는 RSS를 비용 함수(= 손실 함수)라고 한다. 머신러닝 회귀 알고리즘에서는 데이터를 반복적으로 학습하면서 이 비용 함수가 반환하는 값을 지속해서 감소시키는 방향으로 업데이트를 한다. 최종적으로 더 이상 감소하지 않을 때까지 업데이트를 하며 최소의 오류 값을 구하는 것이 최적의 머신러닝 모델이다. 

3. 경사 하강법 (Gradient Descent)

함수 R(w)

함수 R(w)를 통해 각각 w0, w1에 대해서 편미분을 하면 각각의 값들을 얻을 수 있다.

각각 편미분 하면 밑의 그림의 식을 얻을 수 있다.

경사 하강법

경사 하강법은 위 식을 통해 새로운 w0, w1 값을 반복적으로 업데이트하면서 비용 함수의 값이 감소하지 않을 때까지 반복한다.