규제 선형 회귀

모든 데이터가 단순 선형 회귀의 형태이면 좋겠지만, 실제는 그렇지 않다.

다항 회귀를 사용할 일이 많은데 이때, 과대 적합 문제가 많이 발생한다. 이를 해결하기 위해 선형 회귀에 규제를 적용하는 것이다.

일반 선형 회귀 모형은 비용 함수를 최소화 하는 것인데 회귀 계수가 커지면서 과대 적합 문제가 나타난다.

규제 선형 회귀 모델은 릿지 회귀, 라쏘 회귀, 엘라스틱넷 회귀 3가지가 있다.

예) 릿지 회귀

위 코딩 식처럼 세 가지 회귀 모두 alpha 값을 정해줘야 한다.

alpha 값의 역할

• alpha가 0이면 기존 비용함수와 같다.
• alpha 값을 크게하면 비용 함수 회귀 계수 값을 작게 해 과적합을 개선할 수 있다.
• alpha 값을 작게하면 회귀 계수 값이 커져도 어느 정도 상쇄가 가능해서 학습 데이터 적합 개선이 가능하다.

규제는 L1, L2 규제가 있다.

L2 규제는 릿지 회귀에 사용하고, L1 규제는 라쏘 회귀에 사용한다. 

엘라스틱 넷 규제는 이 두 가지 규제를 결합한 모델이다. 피처가 많은 데이터에 사용하며, L1 규제로 피처의 개수를 줄이고 L2 규제로 계수 값의 크기를 조절한다.

L2 규제는 앞에서 말했듯이 회귀 계수 값의 크기를 조절하지만 0은 되지 않는다. 

반면, L1 규제는 불필요한 회귀 계수를 0으로 만들고 제거합니다.