앙상블 학습

앙상블 학습 : 여러 개의 분류기를 생성하고 그 예측을 결합함으로써 하나의 분류기만 사용했을 때 보다 정확한 최종 예측을 도출하는 학습 기법이다.

ex) 한 명이 하나의 문제를 해결하기 위해 답변을 내놓는 것보다 여러 명이 모여 하나의 문제를 해결하기 위해 다양한 해결 방법을 제시하는 것이 한 명보다는 효율적이고 신뢰도가 높은 값을 얻을 수 있다.

1. 앙상블 학습 기법의 유형

(1) 보팅(Voting)

(2) 배깅(Bagging) : 랜덤 포레스트(Random Forest)

(3) 부스팅(Boosting) : 에이다 부스팅(Adaboosting), 그래디언트 부스팅 (Gradient Boosting), XGBoost, LightGBM 등. 분류나 회귀에서 GBM 부스팅 계열의 앙상블이 전반적으로 높은 예측 성능을 보임.

이 외에 스태킹(Stacking) 등의 기법

2. 앙상블의 특징

(1) 단일 모델의 약점을 다수 모델을 결합하여 약점을 보완했다.

(2) 뛰어난 성능을 가진 모델들로 구성하는 것보다 서로 다른 유형의 모델로 구성하는 것이 전체 성능에 도움이 될 수도 있다.

(3) 랜덤 포레스트 및 부스팅 알고리즘들은 모두 의사 결정 나무 알고리즘을 기반으로 한다.

(4) 의사 결정 나무의 단점인 과적합을 많은 분류기들을 결합해 보완하고 장점인 직관적인 분류 기준을 강화한다.