Régression linéaire : le modèle fondamental du machine learning prédictif

La régression linéaire est une méthode statistique fondamentale pour modéliser les relations entre des variables indépendantes et dépendantes. Comprendre comment une variable en influence une autre permet de prédire des résultats lorsque de nouvelles données apparaissent.

Par exemple, la régression linéaire peut déterminer l'impact de la superficie d'une maison sur les prix de l'immobilier, ou dans quelle mesure le budget publicitaire d'une entreprise influence les ventes de produits. Dans chaque cas, la régression linéaire s'appuie sur des modèles observés dans le passé et les transforme en prédictions pratiques pour l'avenir. Par conséquent, elle sert de modèle de machine learning de base et joue un rôle clé dans l'analyse prédictive et la prise de décision fondée sur les donnée.

Ce guide explique les principes fondamentaux de la régression linéaire, les avantages et les limites de cette méthode statistique, ainsi que la manière de l'appliquer dans un ensemble d'applications académiques et professionnelles.

La régression linéaire est une méthode statistique qui détermine la relation entre une ou plusieurs variables indépendantes (prédicteurs) et une variable dépendante (résultat), en ajustant une droite aux points de données. Minimiser la distance entre la droite et l'ensemble des points de données permet d'obtenir une droite qui représente le plus fidèlement possible les régularités présentes dans les données. Cette « droite de meilleur ajustement » peut ensuite être utilisée pour effectuer des prédictions sur les résultats futurs à mesure que de nouvelles données sont introduites. Il s'agit du modèle d'apprentissage supervisé le plus simple, et de la référence à laquelle sont comparées les autres approches de régression.

Comme son nom l'indique, la régression linéaire suppose une relation en ligne droite entre les prédicteurs et les résultats. D'autres formes d'analyse de régression sont utilisées pour effectuer des prédictions lorsque la relation entre les variables est moins linéaire : 

• La régression polynomiale utilise des courbes pour capturer des relations plus complexes entre les variables, par exemple, comment le rendement énergétique d'un véhicule en mouvement atteint un pic à des vitesses modérées, mais diminue à des vitesses plus basses ou plus élevées. 
• La régression logistique est utilisée pour prédire des résultats où la réponse est binaire, par exemple, un patient développera-t-il un diabète, ou ce demandeur fera-t-il défaut sur son prêt ? 
• La régression non linéaire traite des relations qui ne peuvent pas du tout être approximées par des lignes droites, telles que la croissance exponentielle de bactéries dans une boîte de Petri, ou la vitesse à laquelle les matières radioactives se désintègrent.

Toutes ces méthodes appartiennent à la famille plus large des modèles de régression, dont la régression linéaire est l'exemple fondamental.

La régression linéaire reste très répandue à la fois dans la recherche académique et dans les applications professionnelles, car elle est facile à interpréter, nécessite une puissance de calcul minimale et résout efficacement un large éventail de problèmes concrets, de la prévision des ventes à l'évaluation des risques.

La droite de meilleur ajustement est une ligne droite qui se rapproche le plus de tous vos points de données. Une fois identifiée, elle fournit la pente (angle de la ligne) et les valeurs d'ordonnée à l'origine (où la ligne croise l'axe des y) qui représentent le plus précisément les relations entre les variables de données.

La droite de meilleur ajustement est générée à l'aide de la méthode des « moindres carrés ». Tout d'abord, un algorithme mesure la distance verticale entre une ligne proposée et chaque point de données. Chacune de ces valeurs numériques est élevée au carré pour éliminer les nombres négatifs qui pourraient fausser les résultats, et pour s'assurer que les points de données les plus éloignés de la ligne ont plus de poids. Ensuite, toutes ces valeurs au carré sont additionnées.

L'algorithme testera plusieurs lignes de cette manière jusqu'à ce qu'il en trouve une qui produise la somme la plus faible de tous les carrés, le « meilleur ajustement » pour minimiser la différence entre les prédictions d'un modèle et les valeurs réelles.

En pratique, les logiciels évaluent rarement les lignes candidates une par une. Sur des jeux de données plus petits, les coefficients optimaux peuvent être résolus directement en une seule étape. Sur les plus grands, la recherche est gérée par la descente de gradient, qui suit la pente de la surface d'erreur vers le bas en direction de la somme la plus faible, plutôt que d'échantillonner les droites au hasard.

La régression linéaire compte des dizaines d'applications pratiques dans le monde des affaires. Voici quelques cas d'usage courants :

Finance : évaluation des risques

Les banques utilisent la régression linéaire pour prédire le risque de défaut de paiement en analysant des facteurs tels que les revenus, l'historique de crédit, le ratio d'endettement et la stabilité de l'emploi. Cela aide les prêteurs à déterminer des taux d'intérêt appropriés et à prendre des décisions d'approbation éclairées.

Santé : prédiction des résultats pour les patients

Les hôpitaux utilisent la régression linéaire pour prédire les temps de récupération des patients ou l'efficacité des traitements en fonction de variables telles que l'âge, les conditions préexistantes et les dosages de médicaments. Cela permet des plans de traitement personnalisés et une allocation des ressources plus précise pour les soins aux patients.

Marketing : Prévision des ventes

Les entreprises prédisent les ventes futures en analysant des données historiques ainsi que des facteurs tels que les dépenses publicitaires, la saisonnalité, les changements de prix et les conditions économiques. Ces prévisions guident la gestion des stocks, l'allocation budgétaire et la planification stratégique d'un trimestre à l'autre.

Opérations : optimisation des chaînes d'approvisionnement

Les fabricants s'appuient sur la régression linéaire pour prévoir la demande en fonction des modèles de ventes historiques, des tendances saisonnières et des indicateurs économiques. Cela les aide à atteindre des niveaux de stocks optimaux, réduisant les coûts de possession tout en évitant les scénarios de rupture de stock.

Immobilier : établissement de la valeur des propriétés

Les plateformes immobilières prédisent les prix des maisons à l'aide de modèles de régression linéaire qui intègrent la superficie, le nombre de chambres et de salles de bains, l'emplacement, l'âge et les conditions du marché local. Cela fournit aux acheteurs, aux vendeurs et aux prêteurs des conseils de tarification fondés sur les données.

Ressources humaines : analyse comparative des salaires

Les entreprises déterminent une rémunération compétitive en modélisant la relation entre le salaire et des facteurs tels que les années d'expérience, le niveau d'éducation, le rôle, l'emplacement géographique et la taille de l'entreprise. Cela favorise des structures de rémunération équitables qui attirent et retiennent les talents tout en gérant les contraintes budgétaires.

La régression linéaire occupe une position stratégique unique dans le machine learning. Elle sert à la fois d'outil pratique pour les problèmes quotidiens et de base conceptuelle pour comprendre des algorithmes plus sophistiqués.

L'un des plus grands avantages stratégiques de la méthode est sa capacité à quantifier les relations au sein des données, révélant exactement comment chaque variable influence le résultat. Cela la rend indispensable pour les organisations qui doivent prendre des décisions fondées sur les données en toute confiance ou répondre aux exigences réglementaires de transparence.

La régression linéaire excelle dans la prévision, offrant non seulement des prédictions mais aussi un niveau de confiance pour chaque prédiction, ce qui est essentiel pour la gestion des risques et la planification stratégique. Elle permet aux organisations de modéliser les meilleurs et les pires scénarios, de fixer des objectifs réalistes et d'élaborer des plans d'urgence.

Malgré sa simplicité, la régression linéaire offre une forte performance prédictive pour de nombreux problèmes réels tout en restant efficace sur le plan informatique et simple à mettre en œuvre. Elle sert également de base conceptuelle pour des techniques avancées telles que la régression régularisée et les réseaux de neurones, ce qui la rend essentielle pour développer une expertise en machine learning.

Chaque équation de régression linéaire commence par un résultat que vous essayez de prédire et une hypothèse sur les variables qui vous aideront à y parvenir. Un algorithme détermine ensuite le poids optimal (ou coefficient) à attribuer à chaque variable afin de produire des prédictions qui correspondent aux données observées. Cela minimise les erreurs de prédiction et révèle dans quelle mesure chaque variable contribue au résultat.

Par exemple, pour créer une équation qui prédit le prix de vente d'une maison, les variables peuvent inclure la superficie, le nombre de chambres et l'emplacement. L'algorithme analyse les données de ventes historiques et détermine l'influence de chacune de ces variables sur le prix de ces maisons.

Cependant, si le modèle ne parvient pas à faire des prédictions précises, vous devrez peut-être réviser votre hypothèse et l'entraîner à l'aide de variables supplémentaires, telles que la taxe foncière ou les taux de criminalité du quartier. Ou vous découvrirez peut-être que la relation entre les variables n'est pas linéaire, et vous devrez appliquer une forme différente d'analyse de régression.

Chaque modèle de régression linéaire commence par quelques hypothèses fondamentales :

Linéarité : La relation entre les variables indépendantes et dépendantes doit être linéaire (une ligne droite). Si la véritable relation est courbe ou non linéaire, les modèles feront des prédictions inexactes et ne parviendront pas à capturer le schéma réel dans les données.

Indépendance des observations : Chaque point de données doit être indépendant, ce qui signifie qu'une observation n'en influence pas une autre. Lorsque les échantillons de données sont regroupés, par exemple, des patients tous traités dans le même hôpital ou des familles vivant dans la même région, ils peuvent partager des influences communes qui introduisent un biais dans les résultats, donnant l'impression que le modèle est plus exact qu'il ne l'est réellement.

Homoscédasticité (variance constante) : La précision du modèle doit être tout aussi bonne pour toutes les prédictions ; il ne doit pas bien fonctionner pour certaines valeurs et mal pour d'autres. Par exemple, si votre modèle est très précis pour prédire le prix de vente des maisons bon marché mais extrêmement inexact pour les maisons chères, vous ne pourrez pas faire confiance aux tests statistiques qu'il utilise pour déterminer le niveau de confiance que vous devriez accorder à ses prédictions.

Normalité des résidus : Les erreurs de prédiction (résidus) doivent suivre une distribution normale : Parfois trop élevées, parfois trop faibles, la plupart des erreurs étant mineures. Si les résidus d'un modèle ne suivent pas ce schéma, par exemple si ses prédictions sont systématiquement trop faibles à une extrémité de la plage et trop élevées à l'autre, les tests statistiques et les intervalles de confiance du modèle deviennent peu fiables. Ce problème est souvent particulièrement aigu lorsque l'on travaille avec de petits échantillons de données.

Absence de multicolinéarité : Les variables indépendantes ne doivent pas trop se chevaucher ni mesurer essentiellement la même chose. Si votre modèle de prix des maisons inclut à la fois la superficie et le nombre de pièces, le modèle risque de ne pas pouvoir déterminer lequel de ces deux facteurs a la plus grande influence sur le prix, ce qui entraîne des coefficients instables et des interprétations peu fiables.

Aucun biais de variable omise : Toutes les variables pertinentes qui influencent le résultat doivent être incluses dans le modèle. Si vous prédisez les prix des maisons mais oubliez d'inclure la localisation, le modèle attribuera à tort une importance excessive à d'autres variables, comme la superficie ou le nombre de chambres, donnant l'impression que la taille compte davantage qu'elle ne le fait réellement, alors que la localisation était en fait l'élément manquant à l'origine de ces prix plus élevés.

La confirmation de ces hypothèses fait partie de l'évaluation du modèle. Les graphiques des résidus, les vérifications de la variance et les matrices de corrélation sont les outils standards permettant de vérifier qu'un modèle ajusté offre réellement les garanties statistiques qu'il semble promettre.

De multiples types de modèles de régression ont évolué au fil des ans, répondant à différents problèmes qui surviennent lors de l'utilisation de techniques de régression linéaire. Voici les plus couramment utilisés :

Régression linéaire simple

La forme la plus basique de régression utilise une seule variable indépendante pour prédire une variable dépendante. Elle est idéale pour comprendre des relations simples et établir des modèles de base, bien qu'elle ne puisse souvent pas capturer des schémas complexes du monde réel impliquant de multiples facteurs.

Régression linéaire multiple

Ce modèle intègre de multiples variables indépendantes pour prédire un seul résultat, vous permettant de prendre en compte plusieurs facteurs simultanément. Il est plus flexible que la régression simple, mais devient vulnérable à la multicolinéarité lorsque les variables prédictives sont fortement corrélées entre elles.

Régression Ridge

La régression Ridge traite la multicolinéarité et le surapprentissage en ajoutant une pénalité qui réduit les valeurs des coefficients, forçant le modèle à être plus prudent dans ses prédictions. Cela empêche une seule variable de dominer, ce qui aide le modèle à mieux se généraliser à de nouvelles données tout en conservant toutes les variables du modèle d'origine.

Régression Lasso

Lasso (Least Absolute Shrinkage and Selection Operator) résout les problèmes de surapprentissage et de caractéristiques éparses (moins pertinentes) en ajoutant une pénalité qui peut contracter certains coefficients jusqu'à zéro, supprimant ainsi efficacement les variables moins importantes du modèle. Lasso est particulièrement utile lorsque vous disposez de nombreuses caractéristiques et que vous suspectez que seules certaines d'entre elles comptent réellement pour les prédictions.

Régression Elastic Net

Elastic net combine les points forts de Ridge et Lasso en appliquant les deux types de pénalité simultanément, trouvant un équilibre entre la contraction des coefficients et l'élimination des variables non pertinentes. Cette approche hybride gère bien la multicolinéarité tout en effectuant une sélection de caractéristiques, ce qui la rend flexible pour des ensembles de données complexes lorsque vous ne savez pas quelles variables sont les plus importantes.

Pour les bons types de problèmes, la régression linéaire offre un moyen relativement simple et peu coûteux d'analyser des données et de faire des prédictions. Voici les principaux avantages :

Simple à mettre en œuvre et à interpréter

La régression linéaire est simple à créer et à comprendre. Vous pouvez expliquer les résultats à des parties prenantes non techniques à l'aide d'affirmations simples telles que : « Pour chaque augmentation de 1 000 $ des dépenses publicitaires, les ventes augmentent de 50 000 $. » Cette transparence la rend inestimable dans les secteurs réglementés et les contextes stratégiques où les décideurs doivent comprendre et faire confiance à la logique du modèle.

Fonctionne bien avec des données corrélées linéairement

Pour les problèmes métier concrets qui présentent des relations simples entre les variables, comme la prévision des ventes, l'optimisation tarifaire et l'allocation des ressources, la régression linéaire se rapproche suffisamment de la réalité pour fournir des prédictions fiables.

Entraînement rapide et faible coût de calcul

La régression linéaire nécessite une puissance de calcul minimale et s'entraîne presque instantanément, même sur de grands jeux de données. Cela la rend adaptée aux applications en temps réel, au prototypage rapide et aux scénarios où les ressources de calcul sont limitées ou coûteuses.

Utile pour la prévision et l'analyse des tendances

Le modèle excelle dans l'identification et la projection de tendances à partir de données historiques, ce qui en fait un outil idéal pour des tâches telles que la planification de la demande et les projections de capacité. Vous pouvez facilement étendre les prédictions dans le futur et comprendre comment les changements dans les variables clés auront un impact sur les résultats.

Prend en charge l'inférence statistique et les tests d'hypothèses

La régression linéaire fournit de riches informations statistiques qui aident à déterminer si les relations entre les variables sont statistiquement significatives ou probablement simplement aléatoires. Cette capacité est essentielle pour la recherche, la validation et la prise de décisions fondées sur les données avec des niveaux de confiance quantifiés.

Base pour des techniques avancées

Maîtriser la régression linéaire fournit les bases conceptuelles et mathématiques nécessaires pour comprendre des algorithmes d'apprentissage automatique plus complexes, tels que la régression régularisée, les modèles linéaires généralisés et les réseaux de neurones. Cela en fait un outil d'apprentissage essentiel, qui permet de développer une expertise transférable dans de nombreux domaines analytiques.

Comme indiqué ci-dessus, la régression linéaire n'est pas toujours le bon choix pour chaque modèle de prédiction. Voici quelques-unes de ses principales limites, ainsi que des moyens de les contourner :

Suppose des relations linéaires

La régression linéaire ne peut modéliser que des relations en ligne droite. Cela signifie qu'elle peut manquer les courbes, les pics ou la croissance exponentielle qui existent dans les données du monde réel. Si vos données présentent des schémas non linéaires, vous pouvez passer à la régression polynomiale ou à des modèles non linéaires tels que les arbres de décision et les réseaux de neurones conçus pour capturer des relations plus complexes.

Sensible aux valeurs aberrantes et au bruit

Les valeurs extrêmes ou les points de données erronés peuvent influencer de manière disproportionnée la droite de meilleur ajustement, l'éloignant du véritable schéma et faussant les coefficients et les prédictions. Vous pouvez résoudre ce problème en nettoyant les données pour corriger les valeurs aberrantes ou en appliquant des méthodes de régularisation telles que la régression ridge ou lasso qui réduisent l'impact des observations inhabituelles.

Nécessite des résidus normalement distribués

Lorsque les erreurs de prédiction ne suivent pas une courbe de distribution normale, les tests statistiques et les intervalles de confiance deviennent peu fiables, ce qui compromet votre capacité à évaluer la fiabilité et la significativité du modèle. Si les erreurs ne sont pas distribuées normalement, vous pouvez utiliser des transformations logarithmiques ou par racine carrée pour comprimer les valeurs de données élevées en nombres plus petits, réduisant ainsi leur impact sur les calculs statistiques. Vous pouvez également passer à un type de modèle qui ne nécessite pas de distribution normale, comme les arbres de décision ou les machines à vecteurs de support.

Peut sous-performer avec des données complexes ou non linéaires

La régression linéaire peine lorsque les relations sont complexes, par exemple, lorsque deux variables interagissent de manière inattendue, ou lorsqu'une variable n'a d'impact qu'à partir d'un certain seuil. Pour les données complexes, vous pouvez utiliser des modèles plus sophistiqués tels que les forêts aléatoires ou les réseaux de neurones qui gèrent naturellement ces régularités, ou vous pouvez créer manuellement de nouvelles variables (comme combiner ou élever au carré celles existantes) qui aident la régression linéaire à capturer la complexité.

Multicolinéarité parmi les prédicteurs

Lorsque vos variables prédictives sont trop similaires les unes aux autres, le modèle ne sait plus laquelle compte vraiment, ce qui produit des résultats peu fiables. Vous pouvez résoudre ce problème en supprimant les variables redondantes, en fusionnant celles qui sont similaires, ou en utilisant des techniques de régression spécialisées telles que Ridge ou elastic net, qui gèrent mieux les variables corrélées.

La régression linéaire est le bon outil plus souvent que sa simplicité ne le laisse penser, mais le choix repose sur quelques vérifications que vous pouvez effectuer avant d'ajuster quoi que ce soit.

Envisagez-la lorsque la relation que vous modélisez peut plausiblement être représentée par une droite, et lorsque vous devez expliquer le résultat autant que le produire. Sa transparence est ce qui la rend précieuse dans les secteurs réglementés et les contextes métier où les décideurs doivent comprendre et faire confiance à la logique du modèle, un modèle plus exact que personne ne peut interpréter est souvent le pire choix.

La régression linéaire est également un bon choix lorsque vous avez besoin d'inférence statistique plutôt que d'une simple prédiction, car elle indique si une relation est significative ou probablement due au hasard. Elle est également utile lorsque la rapidité est essentielle, car elle s'entraîne presque instantanément, même sur de grands ensembles de données.

Cependant, vous devriez envisager une autre méthode lorsque la relation est courbe, dépend d'un seuil, ou repose sur deux variables interagissant de manière inattendue. Ce sont les cas où les forêts aléatoires ou les réseaux de neurones traitent les données de façon plus naturelle.

Il en va de même lorsque les valeurs aberrantes dominent et ne peuvent pas être nettoyées, lorsque les résidus ne sont pas distribués normalement, ou lorsque vos prédicteurs mesurent essentiellement la même chose. Plusieurs de ces problèmes disposent de solutions intermédiaires plutôt que d'un changement radical de méthode : Ridge et elastic net gèrent les prédicteurs corrélés, et les transformations logarithmiques ou par racine carrée peuvent corriger des erreurs non normalement distribuées.

Comme la régression linéaire est la référence à laquelle sont comparées les autres approches de régression, il est utile de la construire même lorsque vous prévoyez d'avoir besoin de quelque chose de plus puissant. Elle indique quelle part du signal est simplement linéaire, et donc quel gain d'exactitude supplémentaire un modèle plus complexe vous apporte réellement.

La régression linéaire reste l'un des outils les plus essentiels de la data science, car elle allie simplicité et puissance, elle est facile à comprendre et à mettre en œuvre, tout en résolvant des problèmes concrets dans un large éventail de secteurs. Sa transparence la rend précieuse pour une prise de décision explicable, en particulier dans les secteurs réglementés où les parties prenantes doivent comprendre le raisonnement à l'origine des prédictions.

Les organisations performantes utilisent la régression linéaire de manière stratégique, en choisissant les modèles de régression linéaire adaptés à leurs données et à leurs objectifs métier spécifiques.