機械学習における決定木：データ実務のための詳細な解説

決定木には通常、次の4つの要素が含まれます。

ルートノード

物理的な樹木と同様に、ルートノードはすべての始まりです。推論プロセスの最初のステップであり、質問に関連するデータセット全体を最初に扱うノードです。 

ブランチ

ブランチは、データ内の値に基づいてデータセットを分割します。たとえば、30歳以上の顧客は、30歳未満の顧客とは異なる選択肢に進む可能性があります。決定木は、各グループをそれぞれの結果へと導きます。

内部ノード

内部ノードは、モデルがデータについて質問して道筋を示す意思決定ポイントです。たとえば、ある小売企業のサービスモデルが過去の購入データを見て、「購買者Aは赤いシャツと青いシャツのどちらを購入する傾向があるか」と尋ねるとします。

リーフノード

リーフノードは、推論プロセスが停止してモデルが結果を提供する、決定木のエンドポイントです。小売企業の例を続けると、購買者の履歴が赤いシャツを好むことを示している場合、MLモデルの決定木は、モデルに新しい赤シャツの候補の購入をレコメンデーションするリーフノードにつながる可能性があります。

実際には、決定木は一度に複数の経路を探索します。決定木の論理は、最適な答えを見つけるために別々の方向に分岐します。

多数の一般的な決定木アルゴリズムが利用可能であり、そのほとんどは分類タスクや回帰タスクに適用できます。代表的なものには、次のアルゴリズムがあります。 

CART（分類木と回帰木）

CARTは、広く使用されているアルゴリズムです。他の決定木の手法とは一線を画しています。CARTは、データ内の値を最も適切に分離する分割に着目して、特徴量ごとに常にバイナリ分割（はい/いいえ）を作成します。たとえば、ローンを承認するかどうかを予測するCARTモデルは、まず申請者を「収入 > 5万ドル」（はい/いいえ）で分割し、続いて申請者のクレジットスコアが750以上かどうか、申請者が雇用されているかどうかなどの他の要因に基づいて各グループを分割します。

ID3（Iterative Dichotomiser 3）

ID3は、人気の高い決定木アルゴリズムの一つであり、可能な回答を徐々に絞り込み、最終的な予測やレコメンデーションに到達するまで、データを小さなグループに分割します。たとえば、スパムフィルターでは、商用広告でよく使用される「オファー」という単語を含むEメールを特定できます。

C4.5

C4.5は、データを小さなグループに分ける一連のはい/いいえの質問をすることで決定木を構築するため、より正確な予測に到達しやすくなります。カテゴリー値（「スパム」や「スパムでない」など）と数値（「年齢」や「所得」など）の両方を処理しながら、欠落データのようなギャップに対処できるため、ID3を改良したアルゴリズムです。通信業界を例に挙げると、C4.5アルゴリズムを活用することで、年齢、居住地、データ使用量といった要素を多角的に分析し、たとえ見込み顧客の情報が一部欠けていたとしても、顧客一人ひとりに最適なプラン案を提示できます。 

CHAID（カイ二乗自動相互作用検知）

CHAIDは、統計テストを使用して分割先を決定し、多くの場合、複数のオプションを含む分岐を一度に作成します。たとえば、小売企業は顧客を10代、若年成人、中高年、シニアなどの年齢層に分類して、どのデモグラフィックグループが新しいロイヤルティプログラムに反応する可能性が最も高いかを予測することができます。

条件付き推論ツリー

条件付き推論ツリーは、変数が分岐を正当化するのに十分な関連性を持つかどうかをテストすることでバイアスを低減します。この点では、ID3やCARTのような、ある要因が統計的に有意かどうかをテストせずにデータを段階的に分割する通常の決定木とは異なります。たとえば、通常の決定木では「大学に通ったかどうか」が優先されますが、条件付き推論ツリーではジョブのパフォーマンス予測に統計的に無関係であると見なされる場合があります。

データを分割する場合、MLモデルは通常、次の2つの一般的な決定木の基準のいずれかを使用します。それはジニ不純度またはエントロピーです。それぞれがデータの構成を測定し、アルゴリズムが選択した方法を適用して、データを最も効果的に分割する分割を見つけます。

ジニ不純度

ジニは、質問によってデータがどの程度明確に区分されているかを調べます。数学的には、ランダムな項目がグループの分布に従ってラベル付けされた場合に誤って分類される可能性を反映しています。CARTアルゴリズムは、この測定値を適用してさまざまな分割をテストし、最も明確な分割を選択します。たとえば、疲れているかどうかを尋ねることで、コーヒーを飲みそうな人と飲まない人の2つのグループに分かれる場合などです。

エントロピー

エントロピーはデータセットの不確実性を測定します。ID3やC4.5などのアルゴリズムは、情報利得の計算にエントロピーを利用します。これは、分割の結果生じる不確実性の減少を表します。決定木は不確実性を最も軽減する分割を選択するため、クラス間の分離が最も明確になります。コーヒーの事例では、午前か午後かを尋ねることで、意思決定の指針となるグループが明確になるため、不確実性が軽減されます。

決定木は、時間のかかる推論プロセスを簡素化し、より迅速かつ効率的に結果を提供します。具体的なメリットは以下のとおりです。 

容易な解釈可能性

決定木の透明性は、MLの推論プロセスから不明な点を取り除くのに役立ちます。モデルが結論やレコメンデーションに至るまでのステップバイステップのロジックを、誰でも視覚的に追えるようになります。

データ準備負荷の軽減

決定木はカテゴリと数値の両方を扱えるため、アナリストはデータの変換や再フォーマットに多くの時間を費やす必要はありません。モデルを実行する事前の準備作業を軽減できます。 

高い柔軟性

決定木は、それぞれが独立して予測を行える自己完結型モデルであるため、さまざまな問題に適応できます。また、柔軟な設計により、多くの決定木を組み合わせて出力を集約できるため、大規模で複雑なタスクを処理できます。

欠落している値への対応

完全なデータセットを必要とする一部のモデルとは異なり、決定木は情報が不足している場合にも機能できます。そのためには、不完全なレコードに低い重みを割り当てたり、複数の可能なパスにデータを分割したりすることで対応します。

小規模なデータセットでの使用に最適

決定木は、膨大なデータなしに有用なパターンを見つけられます。情報が限られている場合でも有効であるため、データの不足や収集に時間のかかる分野では役立ちます。