勾配ブースティングとは

勾配ブースティングは、回帰および分類のタスクに使用される機械学習（ML）アルゴリズムです。勾配ブースティングを利用すると、データの複雑な関係を処理し、過学習を防ぐことができます。そのため、この手法はよく利用されるようになっています。この手法を使用することによって、データサイエンティストはMLモデルの予測精度と速度を向上させることができます。このページでは勾配ブースティングについて説明し、この手法を使用するメリットと、3つの一般的なユースケースを紹介します。

勾配ブースティングは、弱いモデルの集合を、より正確かつ効率的な単一の予測モデルに統合するアンサンブルML技術です。通常は統合対象である弱いモデルが決定木であるため、このアルゴリズムは一般的に勾配ブースト決定木（GBDT）と呼ばれています。勾配ブースティングのアルゴリズムは、新しいモデルを連続して追加することによって反復処理されます。新しいモデルは、以前のモデルによるエラーを解決するために追加されます。最終予測の集計は、すべてのモデルの個別の予測を合計したものです。勾配ブースティングは、勾配降下アルゴリズムとブースティング手法を組み合わせたものであり、勾配ブースティングという名前はそれぞれの構成要素に由来します。

この手法のトレーニングプロセスでは、数の多さを強みとするアプローチが活用されるので、データサイエンティストは任意の微分可能な損失関数を最適化することができます。勾配ブースティングは、複雑な回帰や分類の問題を解決するために使用されます。回帰の最終的な結果は、すべての弱い学習器の平均を表します。分類の問題を扱う場合、モデルの最終的な結果は、弱い学習器のモデルからの票が過半数であるクラスとして計算できます。

ブースティングとバギングは、アンサンブル学習の2つの主なタイプです。アンサンブル学習法の特徴は、ベースとなる学習器のグループを集約することによって、どのコンポーネントのパーツが単独で達成する成果よりも正確な予測を生成するという、集合的なアプローチです。ブースティング手法では、弱い学習者のモデルを連続的にトレーニングし、各モデルが集団全体に貢献するようになってから、次のモデルが投入されます。バギングの手法では、ベースとなる学習器を並行してトレーニングします。

勾配ブースティングは、精度、効率、スケーラビリティのバランスに優れており、以下の目的に対して幅広く適用できます。 

• 分類：カテゴリまたはクラスの予測（スパムの検知、不正検知など）
• 回帰：数値の予測（株価予測、売上予測など）。 
• ランキング：関連性や重要性を基にした項目のランキング（検索結果、レコメンデーションなど）。

AdaBoostやXGBoostなど、他のブースティング技術も、よく利用されているアンサンブル学習手法です。各手法の仕組みは以下のとおりです。

XGBoostは、勾配ブースティングを高速化したバージョンであり、コンピュート速度とスケーラビリティを最適化するために設計されています。XGBoostはCPU内の複数のコアを使用して、モデルトレーニングでの並列学習を可能にします。

AdaBoost（アダプティブブースティング）は、一連の弱い学習器をデータに適合させます。通常、これらの弱い学習器は、通常、1つの分岐と2つの終端ノードを持つ決定木である、決定株です。この手法は再帰的に動作し、誤って分類されたデータポイントを特定し、特定されたデータポイントを自動的に調整してトレーニングエラーを削減します。AdaBoostは、極めて強力な予測器が生成されるまでこのプロセスを繰り返します。