Model Ensemble
weak classifier를 둘 이상 결합하여 strong classifier로 만드는 방법
Voting & Bagging
https://machinelearningmastery.com/tour-of-ensemble-learning-algorithms/
- 서로 다른 모델의 예측 결과를 놓고 최종 결과를 투표하는 방법
- hard voting : 다수결의 원칙에 따라 최종 결과 결정
- soft voting : 각 class의 확률을 평균내어 최종 결과 결정
- 다른 모델을 사용하면 voting, 하나의 모델을 복원 추출한 데이터로 학습하면 bagging이다.
Boosting
https://machinelearningmastery.com/tour-of-ensemble-learning-algorithms/
- 여러 모델이 순차적으로 학습 예측을 하는 과정을 통해 오류에 가중치를 부여하여 성능을 향상하는 방법
- 일반적으로 bagging보다 학습시간이 길다
Stacking
https://machinelearningmastery.com/tour-of-ensemble-learning-algorithms/
- 각각의 모델이 예측한 결과를 최종 모델의 학습 데이터로 활용하는 방법