그래디언트 부스팅이란?

그래디언트 부스팅은 회귀와 분류 작업에 사용되는 머신러닝(ML) 알고리즘으로, 데이터 내 복잡한 관계를 처리하고 과적합을 방지할 수 있는 특성 덕분에 널리 활용되고 있습니다. 데이터 사이언티스트는 이 기법을 통해 ML 모델의 예측 정확도와 처리 속도를 높일 수 있습니다. 이 페이지에서는 그래디언트 부스팅의 개념, 사용 시 이점, 그리고 세 가지 대표적인 활용 사례를 소개합니다.

그래디언트 부스팅은 여러 약한 모델을 결합해 보다 효율적이고 정확한 단일 예측 모델을 구성하는 앙상블 ML 기법입니다. 이들 약한 모델은 일반적으로 결정 트리이기 때문에, 이 알고리즘을 흔히 그래디언트 부스팅 결정 트리(GBDT)라고 부릅니다. 그래디언트 부스팅 알고리즘은 새로운 모델을 순차적으로 추가하며 반복적으로 작동하고, 각 신규 모델은 이전 모델의 오류를 보완하는 것을 목표로 합니다. 최종 집계 예측은 모든 모델의 개별 예측값을 합산한 결과를 의미합니다. 그래디언트 부스팅은 경사 하강법 알고리즘과 부스팅 기법을 결합한 ML 기법으로, 그 이름에 각 구성 요소가 반영되어 있습니다.

이 학습 과정은 여러 모델의 결합 효과를 활용하여, 데이터 사이언티스트가 임의의 미분 가능한 손실 함수를 최적화할 수 있도록 합니다. 그래디언트 부스팅은 복잡한 회귀와 분류 문제를 해결하는 데 사용됩니다. 회귀의 경우, 최종 결과는 모든 약한 학습기의 출력값 평균을 의미합니다. 분류 과제의 경우, 모델의 최종 결과는 여러 약한 학습기 모델의 다수결 투표로 선택된 클래스로 계산할 수 있습니다.

부스팅과 배깅은 앙상블 학습의 두 가지 주요 유형입니다. 앙상블 학습 방식은 집단적 접근 방식을 취하며, 여러 기본 학습기를 결합해 개별 모델이 단독으로 낼 수 있는 것보다 더 정확한 예측을 도출합니다. 부스팅 기법에서는 약한 학습기(weak learner)들을 순차적으로 학습시키며, 각 모델이 전체 모델의 성능에 기여한 후 다음 모델이 학습에 투입됩니다. 배깅 기법은 여러 기본 학습기를 동시에 훈련합니다.

정확성, 효율성, 확장성이 적절한 균형을 이루는 그래디언트 부스팅은 다음과 같이 다양한 분야에 적용할 수 있습니다. 

• 분류: 카테고리 또는 클래스 예측(예: 스팸 감지, 사기 감지)
• 회귀: 수치 예측(예: 주가 예측, 판매 예측) 
• 순위 결정: 항목의 적합도나 중요도에 따라 순위를 결정(예: 검색 결과, 추천)

AdaBoost, XGBoost 등 다른 부스팅 기법들도 널리 사용되는 앙상블 학습 기법입니다. 작동 방식은 다음과 같습니다.

XGBoost는 계산 속도와 확장성을 최적화한 그래디언트 부스팅의 고성능 버전입니다. XGBoost는 CPU의 여러 코어를 활용해 모델 학습 과정에서 병렬 처리를 지원합니다.

적응형 부스팅(AdaBoost)은 약한 학습기를 데이터에 맞게 순차적으로 학습시킵니다. 이러한 약한 학습기는 일반적으로 ‘결정 스텀프(Decision Stump)’라 불리며, 하나의 분할과 두 개의 단말 노드로 이루어진 결정 트리입니다. 이 기법은 재귀적으로 작동하면서 잘못 분류된 데이터 포인트를 식별하고, 이를 자동으로 조정해 학습 오류를 최소화합니다. AdaBoost는 가장 강력한 예측 모델이 만들어질 때까지 이 과정을 반복합니다.