Note

부스팅 : 성능이 약한 학습기를 여러 개 연결하여 순차적으로 학습함으로써 강한 학습기를 만드는 앙상블 학습 기법. 장점 : 오답에 대해 높은 가중치를 부여하고 정답에 대해 낮은 가중치를 부여하여 오답에 더욱 집중한다. 단점 : 이상치(Outlier)에 취약하다. GBM은 가중치 업데이트를 경사 하강법을 이용한다. 기울기를 최소화하는 방향성을 가지고 반복적으로 가중치 값을 업데이트하는 것이 경사 하강법이다. GBM 단점 : 가중치 업데이트 반복 수행으로 인해 학습 시간이 상대적으로 오래 걸린다, 그리드서치까지 할 경우 더 오랜 시간이 소요된다. 코딩 옵션 (1) loss : 경사 하강법에서 비용 함수 지정, 디폴트 값은 'deviance' (2) learning_rate : 학습을 진행할 때마다 적용하는 ..