Note

모든 데이터가 단순 선형 회귀의 형태이면 좋겠지만, 실제는 그렇지 않다. 다항 회귀를 사용할 일이 많은데 이때, 과대 적합 문제가 많이 발생한다. 이를 해결하기 위해 선형 회귀에 규제를 적용하는 것이다. 일반 선형 회귀 모형은 비용 함수를 최소화 하는 것인데 회귀 계수가 커지면서 과대 적합 문제가 나타난다. 규제 선형 회귀 모델은 릿지 회귀, 라쏘 회귀, 엘라스틱넷 회귀 3가지가 있다. 위 코딩 식처럼 세 가지 회귀 모두 alpha 값을 정해줘야 한다. alpha 값의 역할 alpha가 0이면 기존 비용함수와 같다. alpha 값을 크게하면 비용 함수 회귀 계수 값을 작게 해 과적합을 개선할 수 있다. alpha 값을 작게하면 회귀 계수 값이 커져도 어느 정도 상쇄가 가능해서 학습 데이터 적합 개선이 가..

1. 경사 하강법 경사 하강법을 위한 w0, w1 업데이트하는 함수 만들기 초기 w0, w1을 설정하고 w1은 행렬 곱(np.dot)을 위해 w1.T를 사용하고, 예측 값의 차이를 나타내는 diff 생성 경사 하강법을 수행하기 위한 함수 설정이 끝이다. 경사 하강법을 실행하면 w1 : 3.968, w0 : 6.222의 계수를 구할 수 있다. 그래프를 그리면 위와 같은 그림으로 나타낼 수 있다. 2. 미니 배치 확률적 경사 하강법 전체 데이터가 클수록 경사 하강법 연산에 대한 시간이 오래 걸리기 때문에 미니 배치를 통한 샘플링으로 빠르게 경사 하강법을 수행할 수 있다. 전체 X, y 데이터에서 랜덤 하게 batch_size만큼 데이터 추출하여 sample_X, sample_y로 저장하고 랜덤 하게 batc..

회귀란 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법을 통칭한다. 머신러닝 회귀 예측 핵심은 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀 계수를 찾아내는 것이다. 1. 회귀의 유형 (1) 회귀 계수 결합에 의한 유형 선형 회귀와 비선형 회귀 (2) 독립변수 개수에 따라 1개 : 단순 선형 회귀, n개 : 다중 선형회귀 2. 선형 회귀의 종류 (1) 일반 선형 회귀 : RSS (Residual Sum of Squares)를 최소화하는 회귀 계수를 찾아 최적화하고, 규제를 적용하지 않은 모델. (2) 릿지(Ridge) : 선형 회귀에 L2 규제를 적용한 회귀 모델 (3) 라쏘(Lasso) : 선형 회귀에 L1 규제를 적용한 회귀 모델 (4) 엘라스틱넷(Elasti..