Note

1. 장점 ( XGBoost 대비) (1) 더 빠른 학습과 예측 수행시간( CPU 코어가 증가된다면 XGBoost도 빠른 수행 속도를 보인다. ) (2) 작은 메모리 사용량 (3) 원-핫 인코딩 등 인코딩 방법을 사용하지 않고도 카테고리형 피처를 최적으로 변환하고 노드 분할 수행 (4) GPU 지원 (5) 리프 중심 트리 분할 ( Leaf Wise ) - 균형 분할보다는 오류를 줄이는 방향성을 가지고 트리를 분할해서 속도와 성능 향상 * Light GBM을 사용하기 위해서는 Visual Studio Build Tools 설치해야한다. Visual Studio Build Tools에서 Visual C++ 빌도 도구를 설치한 후에 아나콘다 프롬프트에서 관리자 권한으로 실행 후 conda install -c ..

1. 장점 (1) 뛰어난 예측 성능 (2) GBM 대비 수행 시간이 빠르다. ( CPU 병렬 처리, GPU 지원 ) (3) 규제 기능 탑재, Tree Prunning (4) 조기 중단, 자체 내장된 교차 검증, 결측 값 자체 처리 2. 조기 중단 기능 (Early Stopping) (1) 특정 반복 횟수만큼 더 이상 비용함수가 감소하지 않으면 지정된 반복 횟수를 완료하지 않고 수행 종료 가능. (2) 학습을 위한 시간 단축. ( 최적화 튜닝 단계에서 사용 가능) (3) 반복 횟수를 단축할 경우 최적화 문제 발생 가능성 - 최적화가 되지 않은 상태에서 학습이 종료될 수 있다. 3. 코딩 - 위스콘신 유방암 데이터 ( 다양한 방법을 똑같은 데이터로 예측 성능을 비교하기 위함) 공통된 라이브러리 로드 XGBo..

부스팅 : 성능이 약한 학습기를 여러 개 연결하여 순차적으로 학습함으로써 강한 학습기를 만드는 앙상블 학습 기법. 장점 : 오답에 대해 높은 가중치를 부여하고 정답에 대해 낮은 가중치를 부여하여 오답에 더욱 집중한다. 단점 : 이상치(Outlier)에 취약하다. GBM은 가중치 업데이트를 경사 하강법을 이용한다. 기울기를 최소화하는 방향성을 가지고 반복적으로 가중치 값을 업데이트하는 것이 경사 하강법이다. GBM 단점 : 가중치 업데이트 반복 수행으로 인해 학습 시간이 상대적으로 오래 걸린다, 그리드서치까지 할 경우 더 오랜 시간이 소요된다. 코딩 옵션 (1) loss : 경사 하강법에서 비용 함수 지정, 디폴트 값은 'deviance' (2) learning_rate : 학습을 진행할 때마다 적용하는 ..

1. 배깅은 Bootstrap Aggregating의 줄임말, 부트스트래핑을 이용한 학습법 (1) 부트스트래핑 : 학습 데이터셋에서 중복을 허용하여 랜덤 하게 추출하는 방식 (복원 추출) (2) 페이스팅 : 학습 데이터셋에서 중복 없이 랜덤 하게 추출하는 방식 (비 복원 추출) (3) 장점 : 분산 감소 (4) 단점 : 중복으로 인해 특정 샘플은 사용되지 않고 특정 샘플이 여러 번 사용되어 편향될 가능성이 있다. * OOB(Out - Of - Bag) sample : 샘플링되지 않은 나머지 샘플 2. 보팅(Voting)과 배깅(Bagging) (1) 공통점 : 다수의 분류기 결과에 대해서 투표를 통해 최종 예측 결과를 결정하는 방식. (2) 차이점 : 보팅은 서로 다른 알고리즘을 가진 분류기를 결합하는 ..

1. 보팅 유형 (1) 하드 보팅 : 여러 개의 분류기 간 다수결로 최종 값을 결정한다. (2) 소프트 보팅 : 여러 개의 분류기 간 최종 값에 대한 확률을 평균하여 결정한다. 일반적으로 하드 보팅보다 소프트 보팅의 예측 성능이 상대적으로 우수하여 주로 사용한다. 사이킷런은 VotingClassifier 클래스를 통해 보팅을 지원한다. 2. 실습 - 위스콘신 유방암 데이터 사용 필요한 라이브러리를 임포트 한다. 데이터를 로드하고 잘 로드됐는지 head()를 통해 확인한다. 개별 모델과 보팅 방식으로 결합한 모델에 대한 성능 비교 개별 모델 클래스를 지정해주고 소프트 보팅 기반으로 합친 모델 클래스도 생성해준다. 학습과 검증을 위해 split을 사용해서 데이터 셋을 분리해준다. 소프트 보팅 기반으로 합친 ..