[ML] XGBoost

• Extreme Gradient Boosting의 약자
  • Boosting: 여러 개의 약한 의사결정나무(Decision Tree)를 조합해서 사용하는 앙상블(Ensemble) 기법 중 하나. 즉, 약한 예측 모형들의 학습 에러에 가중치를 두고, 순차적으로 다음 학습 모델에 반영하여 강한 예측모형을 생성

• Regression, Classification 문제를 모두 지원하며, 성능과 자원 효율이 좋아서, 인기 있게 사용되는 알고리즘

• 병렬 처리를 사용해 학습, 분류 속도가 빠름

• XGBoost 자체에 과적합 규제 기능이 있어 강한 내구성을 지님

• 다른 알고리즘과 연계 활용성이 좋음 – Ensembling 학습 가능