Regressione lineare: il modello semplice alla base di previsioni più intelligenti

La regressione lineare è un metodo statistico fondamentale per modellare le relazioni tra variabili indipendenti e dipendenti. Comprendere come una variabile ne influenzi un’altra consente di prevedere i risultati quando diventano disponibili nuovi dati.

Ad esempio, la regressione lineare può determinare l’impatto della superficie di un’abitazione sui prezzi immobiliari o l’influenza del budget pubblicitario di un’azienda sulle vendite di un prodotto. In entrambi i casi, la regressione lineare trasforma gli schemi osservati in passato in previsioni pratiche per il futuro. Di conseguenza, rappresenta un modello di machine learning fondamentale e svolge un ruolo chiave nell’analisi predittiva e nei processi decisionali basati sui dati.

Questa guida illustra i principi fondamentali della regressione lineare, i vantaggi e i limiti di questo metodo statistico e le modalità per applicarlo in diversi ambiti accademici e aziendali.

La regressione lineare è un metodo statistico che determina la relazione tra una o più variabili indipendenti (predittori) e una variabile dipendente (risultato), adattando una retta ai data point. Riducendo al minimo la distanza tra la retta e tutti i data point, si ottiene la retta che rappresenta meglio gli schemi presenti nei dati. Questa “retta di migliore adattamento” può quindi essere utilizzata per prevedere risultati futuri man mano che vengono introdotti nuovi dati. È il modello di apprendimento supervisionato più semplice e costituisce il riferimento rispetto al quale vengono valutati gli altri approcci di regressione.

Come suggerisce il nome, la regressione lineare presuppone una relazione lineare tra predittori e risultati. Quando la relazione tra le variabili è meno lineare, per formulare previsioni si utilizzano altre forme di analisi di regressione: 

• La regressione polinomiale utilizza linee curve per rappresentare relazioni più complesse tra le variabili, ad esempio quando l’efficienza del carburante di un veicolo in movimento raggiunge il massimo a velocità moderate, ma diminuisce a velocità inferiori o superiori. 
• La regressione logistica serve a prevedere risultati binari, ad esempio se un paziente svilupperà il diabete o se una persona richiedente andrà in default sul proprio prestito. 
• La regressione non lineare riguarda relazioni che non possono essere approssimate mediante rette, come la crescita esponenziale dei batteri in una piastra di Petri o la velocità di decadimento dei materiali radioattivi.

Tutti questi metodi appartengono alla più ampia famiglia dei modelli di regressione, di cui la regressione lineare è l’esempio fondamentale.

La regressione lineare continua a essere diffusa sia nella ricerca accademica sia nelle applicazioni aziendali perché è facile da interpretare, richiede una potenza di elaborazione minima e risolve efficacemente numerosi problemi concreti, dalla previsione delle vendite alla valutazione del rischio.

La retta di migliore adattamento (o linea di regressione) è la retta che si avvicina maggiormente a tutti i data point. Una volta individuata, fornisce i valori della pendenza (l’angolo della retta) e dell’intercetta (il punto in cui la retta interseca l’asse y) che rappresentano con maggiore precisione le relazioni tra le variabili dei dati.

La retta di migliore adattamento viene generata mediante il metodo dei “minimi quadrati”. Innanzitutto, un algoritmo misura la distanza verticale tra una retta proposta e ciascun data point. Ognuno di questi valori numerici viene elevato al quadrato per eliminare i numeri negativi che potrebbero distorcere i risultati e per contribuire ad attribuire un peso maggiore ai data point più lontani dalla retta. Tutti i valori al quadrato vengono quindi sommati.

L’algoritmo verifica più rette in questo modo finché non ne trova una che produce la somma dei quadrati più bassa, ossia il “migliore adattamento” per ridurre al minimo la differenza tra le previsioni del modello e i valori effettivi.

Nella pratica, raramente il software valuta le rette candidate una alla volta. Per i set di dati più piccoli, i coefficienti ottimali possono essere calcolati direttamente in un unico passaggio. Per quelli più grandi, la ricerca viene eseguita tramite la discesa del gradiente, che segue la pendenza della superficie di errore verso la somma più bassa anziché campionare rette in modo casuale.

La regressione lineare trova decine di applicazioni pratiche nel mondo aziendale. Ecco alcuni dei casi d’uso più comuni:

Finance: valutare il rischio

Le banche utilizzano la regressione lineare per prevedere il rischio di default sui prestiti analizzando fattori come il reddito, la storia creditizia, il rapporto debito-reddito e la stabilità lavorativa. Questo consente agli istituti di credito di determinare tassi di interesse adeguati e prendere decisioni informate sull’approvazione dei prestiti.

Sanità: prevedere gli esiti di salute per i pazienti

Gli ospedali utilizzano la regressione lineare per prevedere i tempi di recupero dei pazienti o l’efficacia dei trattamenti in base a variabili come età, patologie preesistenti e dosaggi dei farmaci. Ciò consente di definire piani terapeutici personalizzati e allocare con maggiore precisione le risorse per l’assistenza ai pazienti.

Marketing: prevedere le vendite

Le aziende prevedono le vendite future analizzando i dati storici insieme a fattori come la spesa pubblicitaria, la stagionalità, le variazioni dei prezzi e le condizioni economiche. Queste previsioni orientano la gestione dell’inventario, l’allocazione del budget e la pianificazione strategica nei diversi trimestri.

Operations: ottimizzare la supply chain

Le aziende manifatturiere utilizzano la regressione lineare per prevedere la domanda in base ai modelli storici di vendita, alle tendenze stagionali e agli indicatori economici. Ciò consente di mantenere livelli ottimali di inventario, riducendo i costi di mantenimento e prevenendo le rotture di stock.

Settore immobiliare: determinare il valore degli immobili

Le piattaforme immobiliari prevedono i prezzi delle abitazioni mediante modelli di regressione lineare che includono superficie, numero di camere da letto e bagni, posizione, età dell’immobile e condizioni del mercato locale. In questo modo, acquirenti, venditori e istituti di credito ricevono indicazioni sui prezzi basate sui dati.

Risorse umane: confrontare le retribuzioni

Le organizzazioni determinano retribuzioni competitive modellando la relazione tra lo stipendio e fattori come gli anni di esperienza, il livello di istruzione, il ruolo professionale, la posizione geografica e le dimensioni dell’azienda. Questo favorisce strutture retributive eque, capaci di attrarre e trattenere talenti rispettando al contempo i vincoli di budget.

La regressione lineare occupa una posizione strategica unica nel machine learning. È al tempo stesso uno strumento pratico per risolvere problemi quotidiani e una base concettuale per comprendere algoritmi più sofisticati.

Uno dei maggiori vantaggi strategici del metodo è la capacità di quantificare le relazioni nei dati, mostrando con precisione in che modo ciascuna variabile influenza il risultato. Ciò lo rende indispensabile per le organizzazioni che devono prendere con sicurezza decisioni basate sui dati o soddisfare requisiti normativi di trasparenza.

La regressione lineare è particolarmente efficace nelle previsioni perché fornisce non solo il valore previsto, ma anche un livello di confidenza per ciascuna previsione, essenziale per la gestione del rischio e la pianificazione strategica. Consente alle organizzazioni di modellare gli scenari migliori e peggiori, stabilire obiettivi realistici e predisporre piani di emergenza.

Nonostante la sua semplicità, la regressione lineare offre solide prestazioni predittive per molti problemi concreti, pur rimanendo efficiente dal punto di vista computazionale e facile da implementare. Costituisce inoltre la base concettuale di tecniche avanzate come la regressione regolarizzata e le reti neurali, risultando essenziale per sviluppare competenze nel machine learning.

Ogni equazione di regressione lineare parte da un risultato da prevedere e da un’ipotesi sulle variabili che consentiranno di ottenerlo. Un algoritmo determina quindi il peso ottimale, o coefficiente, da assegnare a ciascuna variabile per produrre previsioni coerenti con i dati osservati. Ciò riduce al minimo gli errori di previsione e mostra quanto ogni variabile contribuisce al risultato.

Ad esempio, per creare un’equazione che preveda il prezzo di vendita di un’abitazione, le variabili potrebbero includere la superficie, il numero di camere da letto e la posizione. L’algoritmo analizza i dati storici delle vendite e determina l’influenza di ciascuna variabile sul prezzo delle abitazioni.

Tuttavia, se il modello non produce previsioni accurate, potrebbe essere necessario rivedere l’ipotesi e addestrarlo utilizzando variabili aggiuntive, come l’imposta immobiliare o il tasso di criminalità del quartiere. In alternativa, si potrebbe scoprire che la relazione tra le variabili non è lineare e che occorre applicare una diversa forma di analisi di regressione.

Ogni modello di regressione lineare si basa su alcune ipotesi fondamentali:

Linearità: la relazione tra le variabili indipendenti e dipendenti deve essere lineare, ossia rappresentabile mediante una retta. Se la relazione effettiva è curva o non lineare, i modelli produrranno previsioni imprecise e non riusciranno a rappresentare lo schema reale presente nei dati.

Indipendenza delle osservazioni: ogni data point deve essere indipendente, vale a dire che un’osservazione non deve influenzarne un’altra. Quando i campioni di dati sono raggruppati, ad esempio pazienti trattati nello stesso ospedale o famiglie che vivono nella stessa zona, possono condividere fattori comuni che introducono bias nei risultati, facendo apparire il modello più accurato di quanto sia in realtà.

Omoschedasticità (varianza costante): l’accuratezza del modello dovrebbe essere uniforme per tutte le previsioni: il modello non dovrebbe funzionare bene per alcuni valori e male per altri. Ad esempio, se il modello prevede con precisione il prezzo di vendita delle abitazioni economiche, ma è estremamente impreciso per quelle costose, non sarà possibile considerare affidabili i test statistici che utilizza per determinare il livello di confidenza delle previsioni.

Normalità dei residui: gli errori di previsione (residui) devono seguire una distribuzione normale: a volte troppo alti, a volte troppo bassi, ma perlopiù contenuti. Se i residui di un modello non seguono questo andamento, ad esempio se le previsioni sono sistematicamente troppo basse a un estremo dell’intervallo e troppo alte all’altro, i test statistici e gli intervalli di confidenza del modello diventano inaffidabili. Questo problema è spesso particolarmente grave quando si utilizzano campioni di dati ridotti.

Assenza di multicollinearità: le variabili indipendenti non devono sovrapporsi eccessivamente né misurare sostanzialmente lo stesso fenomeno. Se il modello per i prezzi delle abitazioni include sia la superficie sia il numero di stanze, potrebbe non riuscire a stabilire quale variabile incida maggiormente sul prezzo, generando coefficienti instabili e interpretazioni inaffidabili.

Assenza di bias da variabili omesse: il modello dovrebbe includere tutte le variabili rilevanti che influenzano il risultato. Se si prevedono i prezzi delle abitazioni senza includere la posizione, il modello attribuirà erroneamente un peso eccessivo ad altre variabili, come la superficie o il numero di camere da letto. Sembrerà quindi che le dimensioni contino più di quanto accada realmente, mentre era la posizione, esclusa dal modello, a determinare quei prezzi più elevati.

La verifica di queste ipotesi fa parte della valutazione del modello. I grafici dei residui, i controlli della varianza e le matrici di correlazione sono gli strumenti standard per stabilire se un modello addestrato fornisce effettivamente le garanzie statistiche che sembra offrire.

Esistono diversi tipi di modelli di regressione, sviluppati nel corso degli anni per affrontare i vari problemi che emergono nell’uso delle tecniche di regressione lineare. Ecco quelli più utilizzati:

Regressione lineare semplice

La forma più elementare di regressione utilizza una sola variabile indipendente per prevedere una variabile dipendente. È ideale per comprendere relazioni semplici e definire modelli di riferimento, ma spesso non riesce a rappresentare schemi complessi del mondo reale che coinvolgono più fattori.

Regressione lineare multipla

Questo modello utilizza più variabili indipendenti per prevedere un singolo risultato, consentendo di considerare contemporaneamente diversi fattori. È più flessibile della regressione semplice, ma risente della multicollinearità quando le variabili predittive sono fortemente correlate tra loro.

Regressione Ridge

La regressione Ridge affronta la multicollinearità e l’overfitting aggiungendo una penalità che riduce i valori dei coefficienti e rende il modello più prudente nelle previsioni. In questo modo, nessuna singola variabile prevale sulle altre, il modello generalizza meglio sui nuovi dati e conserva tutte le variabili del modello originale.

Regressione Lasso

La regressione Lasso (Least Absolute Shrinkage and Selection Operator) affronta i problemi dell’overfitting e delle feature sparse, ossia meno rilevanti, aggiungendo una penalità che può ridurre a zero alcuni coefficienti ed eliminare di fatto dal modello le variabili meno importanti. La regressione Lasso è particolarmente utile quando sono presenti molte feature e si presume che solo alcune siano davvero rilevanti per le previsioni.

Regressione Elastic net

Elastic Net combina i punti di forza delle regressioni Ridge e Lasso applicando contemporaneamente entrambi i tipi di penalità, così da bilanciare la riduzione dei coefficienti e l’eliminazione delle variabili irrilevanti. Questo approccio ibrido gestisce bene la multicollinearità ed esegue anche la selezione delle feature, offrendo flessibilità con set di dati complessi nei quali non è chiaro quali variabili siano più importanti.

Per i problemi adatti, la regressione lineare offre un metodo relativamente semplice ed economico per analizzare i dati e formulare previsioni. Ecco i vantaggi principali:

Facile da implementare e interpretare

La regressione lineare è semplice da sviluppare e comprendere. È possibile spiegare i risultati a stakeholder senza competenze tecniche con affermazioni semplici come: “Per ogni aumento di 1.000 dollari della spesa pubblicitaria, le vendite aumentano di 50.000 dollari”. Questa trasparenza la rende preziosa nei settori regolamentati e nei contesti aziendali in cui chi prende le decisioni deve comprendere la logica del modello e potersene fidare.

Funziona bene con dati correlati linearmente

Per i problemi aziendali reali caratterizzati da relazioni semplici tra le variabili, come la previsione delle vendite, l’ottimizzazione dei prezzi e l’allocazione delle risorse, la regressione lineare approssima la realtà con precisione sufficiente a fornire previsioni affidabili.

Training rapido e costi di elaborazione ridotti

La regressione lineare richiede una potenza di elaborazione minima e completa il training quasi istantaneamente, anche su set di dati di grandi dimensioni. Questo la rende pratica per applicazioni in tempo reale, prototipazione rapida e scenari in cui le risorse di elaborazione sono limitate o costose.

Utile per le previsioni e l’analisi delle tendenze

Il modello eccelle nell’identificare e proiettare le tendenze sulla base dei dati storici, risultando ideale per task come la pianificazione della domanda e le proiezioni della capacità. È possibile estendere facilmente le previsioni nel futuro e comprendere in che modo le variazioni delle variabili principali influiranno sui risultati.

Supporta l’inferenza statistica e la verifica delle ipotesi

La regressione lineare fornisce informazioni statistiche dettagliate che aiutano a determinare se le relazioni tra le variabili siano statisticamente significative o probabilmente casuali. Questa capacità è essenziale per la ricerca, la convalida e le decisioni basate sui dati con livelli di confidenza quantificati.

Fondamento delle tecniche avanzate

Padroneggiare la regressione lineare fornisce il fondamento concettuale e matematico necessario per comprendere algoritmi di machine learning più complessi, come la regressione regolarizzata, i modelli lineari generalizzati e le reti neurali. È quindi uno strumento di apprendimento essenziale, che permette di sviluppare competenze trasferibili a numerosi ambiti analitici.

Come indicato in precedenza, la regressione lineare non è sempre la scelta adatta per ogni modello predittivo. Ecco alcuni dei suoi principali limiti e i relativi metodi per superarli:

Presuppone relazioni lineari

La regressione lineare può modellare solo relazioni rappresentabili con una linea retta. Di conseguenza, può non rilevare curve, picchi o crescite esponenziali presenti nei dati reali. Se i dati presentano schemi non lineari, è possibile passare alla regressione polinomiale o a modelli non lineari, come gli alberi decisionali e le reti neurali, in grado di rappresentare relazioni più complesse.

Sensibile agli outlier e al rumore

Valori estremi o data point errati possono influenzare in modo sproporzionato la retta di migliore adattamento, allontanandola dall’andamento reale e alterando coefficienti e previsioni. È possibile affrontare il problema pulendo i dati per correggere gli outlier o applicando metodi di regolarizzazione, come la regressione Ridge o Lasso, che riducono l’impatto delle osservazioni anomale.

Richiede residui con distribuzione normale

Quando gli errori di previsione non seguono una curva di distribuzione normale, i test statistici e gli intervalli di confidenza diventano inaffidabili, compromettendo la capacità di valutare l’affidabilità e la significatività del modello. Se gli errori non seguono una distribuzione normale, è possibile utilizzare trasformazioni logaritmiche o basate sulla radice quadrata per comprimere i valori elevati in numeri più piccoli e ridurne l’impatto sui calcoli statistici. È inoltre possibile adottare un tipo di modello che non richieda una distribuzione normale, come gli alberi decisionali o le macchine a vettori di supporto.

Può offrire prestazioni inferiori con dati complessi o non lineari

La regressione lineare incontra difficoltà quando le relazioni sono complesse, ad esempio quando due variabili interagiscono in modi imprevisti o quando una variabile produce un effetto solo dopo aver raggiunto una determinata soglia. Per i dati complessi è possibile utilizzare modelli più sofisticati, come le foreste casuali o le reti neurali, che gestiscono naturalmente questi schemi. In alternativa, si possono creare manualmente nuove variabili, ad esempio combinando o elevando al quadrato quelle esistenti, per consentire alla regressione lineare di rappresentare la complessità.

Multicollinearità tra i predittori

Quando le variabili predittive sono troppo simili tra loro, il modello non riesce a determinare quale sia davvero rilevante e produce risultati inaffidabili. È possibile risolvere il problema rimuovendo le variabili duplicate, combinando quelle simili o utilizzando tecniche di regressione specializzate, come Ridge o Elastic Net, che gestiscono meglio le variabili correlate.

La regressione lineare è lo strumento adatto più spesso di quanto la sua semplicità possa suggerire, ma la scelta dipende da alcuni controlli da effettuare prima di adattare il modello ai dati.

È indicata quando la relazione da modellare è plausibilmente rappresentabile con una linea retta e quando spiegare il risultato è importante quanto produrlo. La trasparenza la rende preziosa nei settori regolamentati e nei contesti aziendali in cui chi prende le decisioni deve comprendere la logica del modello e potersene fidare. Un modello più accurato, ma che nessuno riesce a interpretare, è spesso la scelta peggiore.

La regressione lineare è una buona scelta anche quando serve un’inferenza statistica, non solo una previsione, perché indica se una relazione è significativa o probabilmente casuale. È utile anche quando la velocità è importante, perché completa il training quasi istantaneamente persino su set di dati di grandi dimensioni.

È invece opportuno considerare un metodo diverso quando l’andamento è curvilineo, dipende da soglie o deriva dall’interazione imprevista tra due variabili. In questi casi, le foreste casuali o le reti neurali gestiscono i dati in modo più naturale.

Lo stesso vale quando prevalgono outlier che non è possibile correggere, quando i residui non seguono una distribuzione normale o quando i predittori misurano sostanzialmente lo stesso fenomeno. Per molti di questi problemi esistono soluzioni intermedie che evitano di cambiare completamente metodo: Ridge ed Elastic Net gestiscono i predittori correlati, mentre le trasformazioni logaritmiche o basate sulla radice quadrata possono correggere gli errori con distribuzione non normale.

Poiché la regressione lineare è il modello di riferimento con cui si confrontano gli altri approcci di regressione, vale la pena svilupparla anche quando si prevede di aver bisogno di un modello più potente. Indica quanta parte del segnale è semplicemente lineare e, di conseguenza, quale aumento effettivo di accuratezza offre un modello più complesso.

La regressione lineare rimane uno degli strumenti più importanti della data science perché unisce semplicità ed efficacia: è facile da comprendere e implementare e risolve problemi reali in numerosi settori. La sua trasparenza la rende preziosa per processi decisionali spiegabili, soprattutto nei settori regolamentati, dove gli stakeholder devono comprendere il ragionamento alla base delle previsioni.

Le organizzazioni di successo utilizzano la regressione lineare in modo strategico, scegliendo i modelli più adatti ai propri dati e obiettivi aziendali.