Alberi decisionali nel machine learning: un’analisi approfondita per i professionisti dei dati

Proprio come le persone valutano diverse opzioni prima di prendere una decisione, i modelli di machine learning utilizzano più metodi per formulare una previsione o una raccomandazione. Gli alberi decisionali sono un’opzione molto diffusa nel machine learning (ML) perché scompongono i problemi in passaggi semplici, rendendo i risultati facili da comprendere.

Gli alberi decisionali sono comunemente utilizzati nell’apprendimento supervisionato, in cui i modelli imparano da esempi che hanno già risposte corrette e note. In genere gestiscono attività di classificazione, come l’identificazione delle email di spam, e attività di regressione, come la previsione del consumo energetico di un edificio. Ciò che li distingue è che il processo di ragionamento dell’albero decisionale può essere visualizzato e interpretato. Osservando come un “ramo” prende direzioni diverse, rispondendo a varie domande basate sui dati, diventa chiaro in che modo il ragionamento del modello ha portato a un determinato risultato.

Un albero decisionale è un modello predittivo che arriva a una risposta ponendo una sequenza di domande semplici sui dati, restringendo le possibilità a ogni passaggio fino a ottenere un unico risultato. La sua caratteristica distintiva è la leggibilità: il percorso verso ogni singola previsione è ricostruibile come una catena di regole chiare, il che lo rende uno dei pochi modelli che anche un non specialista può verificare autonomamente.

Gli alberi decisionali funzionano come diagrammi di flusso. Ogni suddivisione rappresenta un punto decisionale che porta a risultati diversi. Questo consente sia alle persone sia ai computer di valutare opzioni, considerare le alternative e comprendere i risultati.

Un albero decisionale scompone un problema in una serie di domande. Ogni domanda aiuta a ridurre l’incertezza finché la risposta non diventa chiara.

Il processo inizia dalla radice con una domanda basata sui dati. In questa fase, l’algoritmo esegue la selezione delle caratteristiche, identificando la variabile più rilevante per suddividere i dati. Ogni risposta porta a un’altra domanda, sempre in base alla caratteristica che in quel passaggio separa meglio i dati. L’albero prosegue fino a raggiungere un nodo foglia, dove viene formulata una previsione o presa una decisione finale.

In genere, gli alberi decisionali includono quattro componenti:

Nodi radice

Come gli alberi in natura, i nodi radice sono il punto di partenza. Rappresentano il primo passaggio del processo di ragionamento, in cui l’intero dataset relativo a una o più domande viene considerato prima di qualsiasi suddivisione.

Rami

I rami suddividono il dataset in base ai valori presenti nei dati. Ad esempio, i clienti con più di 30 anni potrebbero seguire un percorso diverso da quelli con meno di 30 anni. L’albero decisionale guida ogni gruppo verso un risultato.

Nodi interni

I nodi interni sono punti decisionali in cui il modello pone una domanda sui dati per guidarli lungo un percorso. Ad esempio, il modello di un retailer potrebbe esaminare i dati storici degli acquisti e chiedersi: “L’acquirente A tende ad acquistare camicie rosse o blu?”

Nodi foglia

I nodi foglia sono i punti finali di un albero decisionale, in cui il processo di ragionamento si arresta e il modello restituisce un risultato. Proseguendo con l’esempio del retail, se la cronologia dell’acquirente indica una preferenza per le camicie rosse, l’albero decisionale del modello ML può arrivare a un nodo foglia che porta il modello a consigliare diverse opzioni di camicie rosse da acquistare.

In pratica, gli alberi decisionali esplorano più percorsi contemporaneamente. La loro logica si dirama in direzioni diverse per individuare la risposta migliore.

Un albero decisionale per una raccomandazione retail. Il nodo radice contiene tutta la cronologia degli acquisti. Si ramifica sul fatto che l’acquirente abbia più di 30 anni. Ogni ramo conduce a un nodo interno che pone un'ulteriore domanda, ovvero se l'acquirente ha acquistato camicie rosse prima o se segue le tendenze stagionali, e ciascuno di questi si suddivide in due nodi foglia che forniscono una raccomandazione finale.AGE > 30AGE ≤ 30YESNOYESNOROOT NODECronologia di acquisto di tutti i clientiINTERNAL NODEHanno acquistato camicie rosse prima?LEAF NODEConsiglia camicie rosseLEAF NODEConsiglia camicie bluINTERNAL NODESegue i trend della moda?LEAF NODEConsiglia camicie rosse trendyLEAF NODEConsiglia camicie blu trendyBRANCHDivide il data set su un valore

Sono disponibili numerosi algoritmi ad albero decisionale, la maggior parte dei quali può essere applicata ad attività di classificazione e regressione. Tra questi:

CART (alberi di classificazione e regressione)

Algoritmo ampiamente utilizzato, CART si differenzia da altri metodi ad albero decisionale perché crea sempre suddivisioni binarie (sì/no) per ogni caratteristica, concentrandosi sulla suddivisione che separa meglio i valori nei dati. Ad esempio, un modello CART che prevede se un prestito debba essere approvato potrebbe prima suddividere i richiedenti per “reddito > 50000 dollari” (sì/no) e poi continuare a suddividere ciascun gruppo in base ad altri fattori, ad esempio se il punteggio di credito del richiedente è superiore a 750 e se il richiedente è occupato. Questo è l’algoritmo alla base della maggior parte delle implementazioni di produzione, incluso DecisionTreeClassifier in Snowflake ML.

ID3 (Iterative Dichotomiser 3)

Essendo uno dei primi algoritmi ad albero decisionale diffusi, ID3 suddivide i dati in gruppi più piccoli scegliendo domande che restringono le possibili risposte fino a raggiungere una previsione o una raccomandazione desiderata. Ad esempio, un filtro antispam potrebbe individuare le email con la parola “offerta”, poiché è spesso utilizzata nella pubblicità commerciale.

C4.5

C4.5 costruisce alberi decisionali ponendo una serie di domande sì/no che suddividono i dati in gruppi più piccoli, facilitando previsioni più precise. Migliora ID3 gestendo sia valori categoriali (come “spam” o “non spam”) sia valori numerici (come “età” o “reddito”), e gestendo anche lacune come dati mancanti. Ad esempio, una società di telecomunicazioni potrebbe utilizzare C4.5 per valutare fattori come età, posizione e utilizzo dei dati e proporre piani specifici per un cliente, anche con informazioni incomplete sul potenziale cliente.

CHAID (Chi-Square Automatic Interaction Detection)

CHAID utilizza test statistici per decidere dove suddividere, spesso creando rami con più opzioni contemporaneamente. Ad esempio, un retailer potrebbe utilizzarlo per raggruppare i clienti in fasce di età, come adolescenti, giovani adulti, persone di mezza età e anziani, per prevedere quale gruppo demografico è più propenso a rispondere a un nuovo programma fedeltà.

Alberi di inferenza condizionale

Gli alberi di inferenza condizionale riducono i bias verificando se una variabile è sufficientemente rilevante da giustificare una suddivisione. In questo modo si differenziano dagli alberi decisionali tradizionali come ID3 e CART, che suddividono i dati passo dopo passo senza verificare se un fattore è statisticamente significativo. Ad esempio, un albero decisionale tradizionale potrebbe dare peso all’“università frequentata”, mentre un albero di inferenza condizionale potrebbe scartarla perché statisticamente irrilevante nel prevedere le prestazioni lavorative.

Quando suddividono i dati, i modelli ML utilizzano in genere uno dei due criteri più comuni: Impurità di Gini o entropia. Entrambi misurano quanto i dati siano “misti” e l’algoritmo applica il metodo scelto per individuare la suddivisione che separa i dati nel modo più efficace.

Impurità di Gini

Gini valuta se una domanda suddivide chiaramente i dati in gruppi. In termini matematici, riflette la probabilità che un elemento scelto a caso venga classificato in modo errato se etichettato in base alla distribuzione del gruppo. L’algoritmo CART utilizza questa misura per testare diverse suddivisioni e sceglie quella che produce la separazione più netta. Ad esempio, chiedere alle persone se sono stanche crea due gruppi: chi probabilmente beve caffè e chi no.

Entropia

L’entropia misura l’incertezza del dataset. Algoritmi come ID3 e C4.5 utilizzano l’entropia per calcolare l’information gain, ovvero la riduzione dell’incertezza risultante da una suddivisione. L’albero seleziona la suddivisione che riduce maggiormente l’incertezza, creando la separazione più netta tra le classi. Nell’analogia del caffè, chiedere se è mattina o pomeriggio riduce l’incertezza perché separa le persone in gruppi più chiari che guidano la decisione.

Nel machine learning, gli alberi decisionali aiutano i modelli a trasformare i dati grezzi in insight utili. Questo è particolarmente utile nei settori in cui le decisioni devono essere solide e affidabili.

Ecco alcuni usi comuni degli alberi decisionali:

Strategia e pianificazione aziendale

I modelli ML addestrati con alberi decisionali sono utili per prevedere crescita delle vendite, trend di prezzo, churn dei clienti, domanda della supply chain e livelli di inventario.

Valutazione e mitigazione del rischio

In finanza e assicurazioni, gli alberi decisionali aiutano a valutare rischi come insolvenze, sinistri o altre perdite. Seguendo i percorsi di ramificazione dei dati dei clienti, ad esempio storico creditizio, livelli di reddito o pattern di sinistri, aiutano attuari, underwriter e analisti finanziari a fornire stime del rischio più precise. Per un esempio, in questa guida spieghiamo come prevedere i sinistri assicurativi con un modello di regressione XGBoost.

Segmentazione e targeting dei clienti

I professionisti del marketing possono utilizzare modelli ad albero decisionale per suddividere i clienti in gruppi in base ai comportamenti di acquisto, ai dati demografici e alle attività online. Questo consente alle aziende di proporre offerte più personalizzate e prevedere quali clienti sono più propensi a rispondere alle campagne. Snowflake pubblica una descrizione end-to-end del targeting clienti che segue questo schema.

Diagnosi e trattamento medico

I modelli di machine learning in ambito sanitario spesso si basano su alberi decisionali per interpretare i dati dei pazienti. Ad esempio, un modello può valutare i sintomi, considerare i risultati dei test diagnostici ed esaminare l’anamnesi familiare per raccogliere informazioni utili a guidare diagnosi e trattamenti. Una guida alla classificazione del cancro al seno con XGBoost mostra come applicare un ensemble ad albero esattamente a questo tipo di dati diagnostici.

Rilevamento delle frodi finanziarie

Le banche e altri istituti finanziari particolarmente attenti al rischio possono utilizzare modelli ad albero decisionale per rilevare attività sospette. Analizzando pattern come importi degli acquisti e resi, i modelli possono identificare transazioni che indicano potenziali frodi, riciclaggio di denaro o altre attività potenzialmente criminali. Snowflake è la soluzione per rilevare frodi e reati finanziari che descrive come questi modelli vengono eseguiti sui dati delle transazioni su vasta scala.

Gli alberi decisionali semplificano processi di ragionamento altrimenti lunghi, fornendo risultati più rapidamente e in modo più efficiente. Ecco alcuni vantaggi specifici:

Interpretabilità

La trasparenza degli alberi decisionali rende più chiaro il processo di ragionamento del machine learning. Chiunque può seguire visivamente la logica passo dopo passo che ha portato il modello a conclusioni e raccomandazioni.

Poiché un albero addestrato può essere letto come un insieme di regole leggibili dall’uomo, viene spesso scelto come alternativa interpretabile a modelli più accurati ma poco chiari come le reti neurali. In contesti regolamentati in cui una decisione deve essere spiegata anziché semplicemente giustificata dalla sua accuratezza, tale proprietà può avere un’importanza maggiore di qualche punto di spinta predittiva, motivo per cui gli alberi rimangono comuni ovunque sia richiesta la trasparenza dell’AI.

Alleggeriscono il carico di preparazione dei dati

Gli alberi decisionali possono gestire sia categorie sia valori numerici, quindi gli analisti dedicano meno tempo a convertire o riformattare i dati. Riducono il lavoro di preparazione necessario prima di eseguire i modelli.

Elevata flessibilità

Gli alberi decisionali possono adattarsi a problemi diversi perché ciascuno è un modello autonomo, in grado di fare previsioni in modo indipendente. Questo design flessibile consente anche di combinare molti alberi e aggregarne gli output, così da gestire attività più ampie e complesse.

Gestione dei valori mancanti

A differenza di alcuni modelli che richiedono dataset completi, gli alberi decisionali possono funzionare anche quando mancano informazioni. Lo fanno assegnando pesi inferiori ai record incompleti o suddividendo i dati su più percorsi possibili.

Funzionano bene con dataset di piccole dimensioni

Gli alberi decisionali possono individuare pattern utili senza enormi quantità di dati. Sono efficaci anche quando le informazioni sono limitate, il che li rende preziosi in ambiti in cui i dati sono scarsi o richiedono molto tempo per essere raccolti.

Nonostante i vantaggi, gli alberi decisionali presentano anche alcuni limiti. Ecco alcuni dei problemi più comuni che persone e macchine incontrano quando utilizzano gli alberi decisionali per il ragionamento:

Inclini all’overfitting

Gli alberi decisionali possono diventare troppo dettagliati, affidandosi a particolarità dei dati di addestramento invece di apprendere pattern generali. Il risultato può essere un modello che appare accurato in fase di training ma fatica con dati nuovi e mai visti.

Sensibili ai dati “rumorosi”

Gli alberi decisionali possono essere influenzati da variazioni casuali o irrilevanti in un dataset che non riflettono pattern reali. Anche piccole quantità di rumore possono portare l’albero a suddivisioni fuorvianti e a previsioni instabili.

Possono creare suddivisioni distorte

Se una determinata caratteristica domina un dataset, un albero decisionale può talvolta darle peso eccessivo a scapito di altri fattori altrettanto o più importanti. Ad esempio, se un modello medico attribuisce più importanza al CAP del paziente rispetto a fattori come dieta o stile di vita, può portare a previsioni, raccomandazioni e diagnosi inaccurate.

Meno accurati dei metodi ensemble

Un singolo albero decisionale prende decisioni da solo, e questo può portare a errori o overfitting. I metodi ensemble, invece, combinano i risultati di più alberi. Questo approccio collettivo produce in genere risultati più accurati, completi e coerenti.

L’albero decisionale è il modello base nelle famiglie ensemble più note: i due approcci non sono realmente in competizione. Una foresta casuale addestra molti alberi in parallelo su diversi sottoinsiemi di dati e funzionalità, quindi fa la media dei loro output per annullare la varianza di ogni singolo albero. Il gradient boosting utilizza lo stesso allievo di base, ma crea gli alberi in sequenza, con ogni nuovo albero che corregge gli errori lasciati da quelli precedenti. La struttura dell’insieme è diversa; l’albero sottostante non lo è.

Le organizzazioni possono massimizzare l’efficacia dei propri alberi decisionali di machine learning seguendo questi suggerimenti pratici:

Selezionare caratteristiche solide

Dai priorità ai fattori che separano maggiormente i dati, come l’importo della transazione nel rilevamento delle frodi o i risultati dei test nella diagnosi medica. Caratteristiche con un elevato potere predittivo aiutano gli alberi decisionali a raggiungere risultati più chiari ed evitare suddivisioni inutili. Gestire queste caratteristiche in un archivio mantiene le stesse definizioni coerenti tra addestramento e produzione.

Potare per evitare l’overfitting

Proprio come un arboricoltore pota i rami per gestire la crescita di un albero ed eliminare parti non necessarie, è importante rimuovere i rami superflui dell’albero decisionale. La potatura è fondamentale per evitare che l’albero si fissi sui dati di addestramento e per spingerlo invece a individuare pattern che portano a risultati significativi.

Convalidare con dati nuovi

Per verificare davvero le prestazioni dell’albero, testalo su dati che non ha mai visto. Questo può aiutare a evitare l’overfitting. Riservare una porzione dei dati per il test e confrontare i risultati con le metriche di valutazione standard è il metodo abituale per verificare che un albero sia in grado di generalizzare, non solo di memorizzare.

Monitorare le suddivisioni

Molte librerie di ML offrono strumenti per classificare le caratteristiche su cui l’albero fa maggior affidamento e mostrare come vengono eseguite le suddivisioni. Questi controlli rendono più semplice capire come un modello elabora i dati, ragiona e produce i risultati. Una volta che un albero è in produzione, la stessa visibilità deve essere mantenuta nel monitoraggio continuo del modello, in modo che un cambiamento nelle caratteristiche che determinano gli split venga rilevato prima di comparire nelle previsioni.

Gli alberi decisionali sono diffusi nel machine learning perché sono semplici, chiari e flessibili. Sono utili per molte attività aziendali, come valutare il rischio di un prestito, prevedere le vendite o raggruppare i clienti per iniziative di marketing. Man mano che sempre più organizzazioni cercano strumenti AI e ML affidabili, gli alberi decisionali continueranno a essere un approccio utile per formulare previsioni e raccomandazioni.