Qu’est-ce que le gradient boosting ?

Le gradient boosting est un algorithme de machine learning (ML) utilisé pour les tâches de régression et de classification. Il a gagné en popularité grâce à ses capacités de gestion des relations complexes entre les données et de protection contre le surapprentissage. Cette technique permet aux data scientists d’améliorer la précision des prédictions et la vitesse de leurs modèles de ML. Dans cet article, vous découvrirez le gradient boosting, ses avantages et trois cas d’usage courants.

Le gradient boosting est une technique de ML ensembliste qui combine un ensemble de modèles faibles en un seul modèle prédictif plus précis et plus efficace. Ces modèles faibles sont généralement des arbres de décision, c’est pourquoi les algorithmes sont communément appelés arbres de décision à gradient boosting (GBDT). Les algorithmes de gradient boosting fonctionnent de manière itérative par l’ajout séquentiel de nouveaux modèles. Chaque nouvel ajout vise à résoudre les erreurs commises par les précédents modèles. La prédiction finale de l’agrégat représente la somme des prédictions individuelles de tous les modèles. Comme son nom l’indique, le gradient boosting combine l’algorithme de descente de gradient et la méthode de boosting.

Ce processus d’entraînement s’appuie sur une approche fondée sur la force du nombre, qui permet aux data scientists d’optimiser des fonctions de perte différentiables arbitraires. Le gradient boosting aide à résoudre des problèmes complexes de régression et de classification. En régression, le résultat final représente la moyenne de tous les apprenants faibles. Dans le cas de problèmes de classification, le résultat final du modèle peut être calculé comme la classe qui obtient la majorité des votes des modèles d’apprenants faibles.

Le boosting et le bagging sont les deux principaux types d’apprentissage ensembliste. Les méthodes d’apprentissage ensembliste se distinguent par leur approche collective, qui consiste à agréger un groupe d’apprenants de base afin de générer des prédictions plus précises que celles que chacun des composants pourrait fournir individuellement. Avec les méthodes de boosting, les modèles d’apprenants faibles sont entraînés successivement. Chaque modèle individuel apporte sa contribution à l’ensemble collectif avant l’ajout du suivant. Les techniques de bagging entraînent les apprenants de base en tandem.

Le gradient boosting offre un bon équilibre entre précision, efficacité et évolutivité, ce qui permet de l’appliquer à de nombreux domaines : 

• Classification : prévision de catégories ou de classes (ex., détection des spams, détection des fraudes)
• Régression : prévision de valeurs numériques (ex., cours de la bourse, ventes). 
• Classement : classement d’éléments en fonction de leur pertinence ou de leur importance (ex., résultats de recherche, recommandations).

D’autres techniques de boosting, comme AdaBoost et XGBoost, sont également des méthodes d’apprentissage ensembliste populaires. Voici comment elles fonctionnent.

XGBoost est une version turbo de gradient boosting conçue pour une vitesse de calcul et une évolutivité optimales. XGBoost utilise plusieurs cœurs du CPU pour permettre l’apprentissage parallèle pendant l’entraînement du modèle.

AdaBoost, ou boosting adaptatif, adapte une succession d’apprenants faibles aux données. Ces apprenants faibles sont généralement des souches de décision, un type d’arbre de décision avec une seule scission et deux nœuds terminaux. Cette technique fonctionne de manière récursive : elle identifie les points de données mal classés et les ajuste automatiquement afin de réduire les erreurs d’entraînement. AdaBoost répète ce processus jusqu’à générer le prédicteur le plus performant.