Model Ensemble

Model Ensemble

weak classifier를 둘 이상 결합하여 strong classifier로 만드는 방법

---

Voting & Bagging

https://machinelearningmastery.com/tour-of-ensemble-learning-algorithms/

• 서로 다른 모델의 예측 결과를 놓고 최종 결과를 투표하는 방법
• hard voting : 다수결의 원칙에 따라 최종 결과 결정
• soft voting : 각 class의 확률을 평균내어 최종 결과 결정
• 다른 모델을 사용하면 voting, 하나의 모델을 복원 추출한 데이터로 학습하면 bagging이다.

---

Boosting

https://machinelearningmastery.com/tour-of-ensemble-learning-algorithms/

• 여러 모델이 순차적으로 학습 예측을 하는 과정을 통해 오류에 가중치를 부여하여 성능을 향상하는 방법
• 일반적으로 bagging보다 학습시간이 길다

---

Stacking

https://machinelearningmastery.com/tour-of-ensemble-learning-algorithms/

• 각각의 모델이 예측한 결과를 최종 모델의 학습 데이터로 활용하는 방법