Le machine learning en entreprise : cycle de vie ML et bonnes pratiques

Le machine learning est passé du stade de projet de recherche et d'expérimentation isolée en science des données à celui de composant clé des systèmes métier. Il permet désormais d'acheminer les transactions, de personnaliser l'expérience client, de détecter les anomalies de sécurité, de prévoir la demande et de soutenir les décisions quotidiennes. Sa valeur réside dans l'usage des données pour identifier des relations trop vastes, dynamiques ou complexes pour être codées manuellement par l'humain.

Mettre le machine learning en production requiert plus que le choix d'un algorithme. Les équipes ont besoin de données fiables, de pipelines de caractéristiques reproductibles, de critères d'évaluation clairs, de dispositifs de contrôle du déploiement et d'une supervision permettant de vérifier si le modèle se comporte toujours comme prévu après l'évolution des conditions métier. 

Ce guide explique le fonctionnement du machine learning, les bonnes pratiques liées à son cycle de vie et les éléments à prendre en compte par les équipes d’entreprise pour implémenter des systèmes ML.

Le machine learning est un sous-ensemble de l’intelligence artificielle dans lequel un logiciel apprend des régularités à partir de données et les utilise pour effectuer des prédictions, des classifications, des recommandations ou d’autres sorties. Dans la programmation traditionnelle fondée sur des règles, un développeur rédige des instructions explicites : si cette condition se produit, alors effectuer telle action. En machine learning, le système utilise des données d’entraînement pour déduire une relation statistique entre les entrées et les sorties. Il applique ensuite cette relation apprise à de nouvelles données lors de la phase d’inférence. 

Par exemple, un modèle ML peut apprendre que certains attributs de transaction sont associés à une fraude, que des régularités d'utilisation spécifiques prédisent l'attrition, ou qu'une combinaison d'historique des ventes et de saisonnalité peut améliorer les prévisions de la demande. L'algorithme définit la manière dont le système apprend, tandis que le modèle est l'artefact appris produit par l'entraînement. L’inférence est l’action d’appliquer ce modèle à de nouvelles données.

Le machine learning étend ce que les organisations peuvent faire avec les données qu'elles collectent déjà. Il peut traiter des volumes d’informations impossibles à analyser manuellement et détecter des signaux bien plus tôt qu’un tableau de bord conçu pour des analyses rétrospectives. Il permet également d’automatiser des décisions répétitives qui suivent des régularités identifiables.

Le défi réside dans le fait que le ML en production transforme le rôle de la plateforme de données : les données ne servent plus seulement à alimenter des rapports statiques, mais façonnent directement les opérations de l’entreprise. Les problèmes de qualité des données peuvent se transformer en erreurs de prédiction, puis en mauvaises décisions une fois ces prédictions intégrées aux flux de travail opérationnels.

Un modèle ML dépend de tables, d'événements, d'étiquettes, de caractéristiques, de politiques d'accès et de schémas d'actualisation. Des entrées fragmentées ou mal gouvernées n’arrêtent pas le processus d’entraînement, mais elles produisent des résultats difficiles à vérifier, à reproduire ou à exécuter de manière fiable en production.

C'est pourquoi les programmes de ML en entreprise ne progressent généralement que dans la limite de ce que permet leur socle de données. Les équipes ont besoin de données gouvernées, de pipelines reproductibles, de dispositifs de contrôle du cycle de vie des modèles et d'un moyen de superviser si le comportement des modèles en production correspond aux conditions dans lesquelles ils ont été entraînés.

La plupart des projets de machine learning suivent un cycle de vie itératif : préparer les données, concevoir les caractéristiques, entraîner un modèle, évaluer ses performances, le déployer dans un pipeline d'inférence et le superviser au fil du temps. 

Préparation des données

Le cycle de vie commence généralement par la préparation des données. Les équipes collectent les données brutes, corrigent les valeurs incohérentes, gèrent les données manquantes, joignent les tables pertinentes et créent un jeu de données d’entraînement qui reflète le problème que le modèle doit résoudre. Dans le cas d'un modèle de prédiction de l'attrition client, par exemple, le jeu de données d'entraînement peut inclure des attributs de compte, des données d'utilisation du produit, des interactions avec le support, un historique de facturation et une étiquette indiquant si le client a renouvelé son contrat.

Ingénierie des caractéristiques

L'ingénierie des caractéristiques convertit les données préparées en signaux exploitables par un modèle. Elle transforme des horodatages bruts, des séquences de transactions ou du texte non structuré en valeurs dérivées, telles que des fenêtres de récence, des moyennes mobiles ou des embeddings. Cette étape nécessite souvent une expertise métier. En effet, le signal utile réside rarement dans la colonne brute elle-même, mais plutôt dans l’évolution de cette valeur au fil du temps, d’un compte à l’autre, ou en relation avec le résultat que le modèle cherche à prédire. Par exemple, dans un modèle de prédiction d’attrition, le nombre total de connexions importe moins qu’une baisse soudaine de l’utilisation après la phase d’intégration. Dans un modèle de détection de la fraude, le montant d’une transaction ne signifie rien sans savoir si ce montant est anormal pour le compte, le commerçant ou le lieu concerné.

Entraînement du modèle

Lors de l’entraînement du modèle, l’algorithme ajuste ses paramètres internes pour réduire l’erreur par rapport à l’objectif d’entraînement. Dans de nombreux modèles, cet objectif est défini par une fonction de perte. Les méthodes d’optimisation de l’entraînement, telles que la descente de gradient, ajustent alors les poids du modèle pour minimiser cette perte. Les data scientists ajustent également les hyperparamètres, comme le taux d'apprentissage, la profondeur des arbres ou la force de régularisation. Ces paramètres déterminent la manière dont le modèle apprend, mais ne sont pas directement tirés des données.

Évaluation

L’évaluation permet de vérifier si le modèle est capable de généraliser ses prédictions au-delà des données d’entraînement. Les équipes utilisent généralement un ensemble de validation ou un processus de validation croisée pour comparer les modèles candidats, détecter le surapprentissage et mesurer les performances à l’aide de métriques telles que la précision, le rappel, le score F1, la racine de l'erreur quadratique moyenne ou l’aire sous la courbe (AUC), selon le cas d’usage.

Déploiement

Le déploiement consiste à intégrer le modèle dans un pipeline d’inférence. Dans le cas de l'inférence par lots, le modèle évalue les enregistrements de manière planifiée, par exemple pour générer des prédictions d'attrition nocturnes ou des prévisions de demande hebdomadaires. Dans le cas de l’inférence en temps réel, le modèle fournit une prédiction instantanée au cours d’un processus actif, par exemple en évaluant le risque d’une transaction pendant qu’un client valide son panier.

Supervision

La supervision permet de boucler la boucle. Un modèle performant lors de la phase d'évaluation peut dériver en production en raison de la modification des données d'entrée, de l'évolution des étiquettes ou de la rupture des pipelines en amont. La documentation de ML Observability de Snowflake souligne que le comportement d’un modèle peut évoluer au fil du temps en raison de la dérive des données d’entrée, d’hypothèses d’entraînement obsolètes, de problèmes de pipelines de données ou de changements dans les profils de trafic.

Les méthodes ML sont généralement regroupées selon la manière dont le modèle apprend à partir des données.

Apprentissage supervisé

L’apprentissage supervisé utilise des données étiquetées pour comprendre la relation entre les entrées et des sorties connues. Cette méthode est très courante en ML d'entreprise, car de nombreux problèmes métiers disposent d'historiques étiquetés : transactions frauduleuses ou légitimes, clients perdus ou fidélisés, demandes approuvées ou refusées, ou encore demande réelle par rapport aux prévisions. L’apprentissage supervisé comprend la classification, qui prédit des catégories, et la régression, qui prédit des valeurs numériques.

Apprentissage non supervisé 

L'apprentissage non supervisé détecte des régularités dans des données non étiquetées. Le clustering permet de regrouper les clients présentant des comportements similaires, tandis que la réduction de dimensionnalité permet de compresser des données complexes en une représentation plus compacte à des fins d'analyse ou de modélisation en aval. IBM distingue cette approche de l'apprentissage supervisé en soulignant que les modèles non supervisés s'ajustent à un jeu de données sans exemples étiquetés.

Apprentissage par renforcement

L’apprentissage par renforcement entraîne un agent d’IA par le biais d’interactions avec son environnement. Plutôt que d'apprendre à partir d'un ensemble de données étiquetées fixe, l'agent reçoit des récompenses ou des pénalités en fonction des actions qu'il entreprend, ce qui lui permet d'améliorer sa politique au fil du temps. IBM décrit l’apprentissage par renforcement comme une méthode d’entraînement par essais et erreurs, particulièrement utilisée dans des domaines tels que la robotique, les jeux et les modèles de raisonnement.

Apprentissage semi-supervisé

L’apprentissage semi-supervisé associe une petite quantité de données étiquetées à un volume plus important de données non étiquetées, ce qui s’avère particulièrement utile lorsque l’étiquetage est coûteux ou long à réaliser.

Apprentissage auto-supervisé

L’apprentissage auto-supervisé génère ses propres signaux d’entraînement à partir des données elles-mêmes. Cette méthode est devenue essentielle pour les grands modèles de langage (LLM) et d’autres approches fondées sur des modèles de fondation. Le National Institute of Standards and Technology (NIST) souligne que les modèles de fondation à double usage sont généralement entraînés sur de vastes ensembles de données et s’appuient souvent sur l’auto-supervision.

Le deep learning est une branche du machine learning qui utilise des réseaux de neurones multicouches pour apprendre à représenter les données. Un réseau de neurones se compose de couches de nœuds connectés, de poids ajustés lors de l’entraînement et de fonctions d’activation qui permettent au réseau de modéliser des relations non linéaires. La rétropropagation propage les informations d’erreur à rebours dans le réseau, ce qui permet au modèle de mettre à jour ses poids et d’améliorer ses performances.

Différentes architectures de réseaux de neurones sont adaptées à des types de données et de tâches spécifiques : 

• Les réseaux de neurones convolutifs sont fréquemment utilisés pour le traitement d’images et la vision par ordinateur.

• Les transformers sont largement employés pour le traitement du langage, la modélisation de séquences et l’IA générative. 

• Les réseaux de neurones de graphes permettent de modéliser les relations entre des entités connectées, telles que des utilisateurs, des comptes, des appareils ou des produits. 

• Les auto-encodeurs peuvent compresser les données dans des représentations de dimension inférieure, puis les reconstruire. Cela les rend particulièrement utiles pour la détection d’anomalies et la compression.

Le deep learning peut donner d’excellents résultats lorsque les équipes disposent de suffisamment de données, de puissance de calcul et de rigueur opérationnelle. Cependant, il met aussi en évidence l’importance des choix d’infrastructure : l’entraînement d’un grand réseau de neurones peut nécessiter une accélération GPU, un entraînement distribué, un suivi des expériences et un contrôle rigoureux des coûts.

L’entraînement d’un modèle ne se résume pas à l’ajustement des données. L’objectif est de concevoir un modèle capable de généraliser, c’est-à-dire d’obtenir de bonnes performances sur de nouveaux exemples représentatifs des conditions réelles de production. Un modèle qui se contente de mémoriser les données d’entraînement peut sembler performant en phase de développement, mais échouer face à de nouveaux clients, de nouvelles transactions ou de nouvelles conditions de marché.

Les techniques d’optimisation aident les équipes à gérer ce compromis :

• La régularisation évite que les modèles ne deviennent trop complexes.

• La validation croisée teste les performances sur plusieurs segments de données. 

• Les méthodes d'ensemble combinent plusieurs modèles, comme les arbres de décision dans une forêt aléatoire ou un modèle de gradient boosting, afin d'améliorer la stabilité et les performances prédictives. 

• L'apprentissage par transfert consiste à partir d'un modèle entraîné sur une tâche ou un jeu de données et à l'adapter à une autre. Le fine-tuning est une méthode courante qui consiste à poursuivre l’entraînement d’un modèle pré-entraîné avec des données nouvelles ou plus spécifiques afin d’adapter son comportement à un cas d’usage précis.

À mesure que la taille des modèles augmente, leur entraînement a des répercussions directes sur l’infrastructure et les coûts. Un petit modèle peut être entraîné sur une seule machine. En revanche, un modèle de deep learning ou un modèle de fondation peut nécessiter des GPU, une mémoire plus importante et des temps d’exécution plus longs. 

Les équipes peuvent gérer cette complexité grâce à l’entraînement distribué, qui répartit la tâche sur plusieurs appareils ou nœuds, à la précision mixte, qui réduit l’utilisation de la mémoire en utilisant des formats numériques plus petits le cas échéant, et à des méthodes de fine-tuning efficaces en paramètres comme LoRA. Cette dernière technique injecte de petites matrices de rang inférieur aux côtés des poids d’origine du modèle, entraînant uniquement ces ajouts tout en gelant les poids initiaux, plutôt que de mettre à jour l’intégralité du modèle.

Le Machine Learning Operations (MLOps) vise à rendre le cycle de vie ML reproductible, gouverné et fiable dès lors que les modèles sont intégrés aux systèmes de production. Il permet aux équipes de gérer les versions des modèles, les processus de déploiement, l'infrastructure de mise en service, la supervision, le réentraînement et les procédures de retour arrière, évitant ainsi que le fonctionnement d'un modèle ne repose sur des notebooks isolés ou des transferts non documentés.

C’est généralement à cette étape que l’écart entre un modèle prometteur et un système ML en production devient le plus visible. Les équipes de production doivent toujours savoir quelle version du modèle génère les prédictions, quelles données et caractéristiques l'ont façonné, quelles métriques d'évaluation ont validé sa mise en production, qui a approuvé son déploiement et comment le modèle se comporte face aux évolutions des conditions métier. Sans les contrôles MLOps, il est difficile de reproduire les résultats, d’analyser les erreurs ou de déterminer si un modèle doit être réentraîné, retiré ou faire l’objet d’un retour arrière.

Les pratiques MLOps courantes comprennent :

• La gestion des versions de modèles : Tracer chaque artefact de modèle, ses données d'entraînement, les définitions de caractéristiques, les paramètres, les dépendances et les résultats d'évaluation.

• Le déploiement des modèles : Déployer les modèles approuvés dans des processus d'inférence par lots ou en temps réel avec des dispositifs de contrôle des mises en production clairs.

• La mise en service des modèles : Fournir l’infrastructure qui permet aux applications, aux pipelines ou aux analystes de demander des prédictions auprès du modèle.

• Le suivi des expériences : Enregistrer les cycles d’entraînement, les métriques et les choix de configuration pour permettre aux équipes de comparer les modèles et de reproduire les résultats.

• La supervision des modèles : Suivre les performances, la dérive, le volume de données et d’autres métriques afin de vérifier si le modèle se comporte toujours comme prévu.

• Entraînement continu : Réentraîner ou actualiser les modèles lorsque de nouvelles données, une dérive ou des changements d’activité rendent le modèle existant moins fiable.

Le MLOps consiste à gérer le cycle de vie à la manière d'un cadre opérationnel. Il fait le lien entre les travaux de data science et les exigences de production du génie logiciel, de l’ingénierie des données, de la gouvernance et des responsabilités métier. Registre de modèles, feature store, workflow CI/CD, couche de supervision et processus d'approbation permettent de répondre aux questions fondamentales : quel modèle est en cours d'exécution, ce qui l'a façonné et si l'organisation peut se fier à son comportement actuel ?

Découvrez comment l’AI Data Cloud de Snowflake simplifie et accélère l’exploitation des données, permettant ainsi aux entreprises de tirer parti de l’IA à grande échelle :

Le machine learning est plus facile à opérationnaliser lorsque les données, les contrôles de gouvernance, les workflows de développement et le cycle de vie des modèles sont étroitement intégrés. Snowflake ML propose des fonctionnalités qui prennent en charge de nombreuses étapes des processus ML dans Snowflake, notamment la préparation des données, l'ingénierie des caractéristiques, l'entraînement des modèles, l'inférence et la supervision. 

Les principales fonctionnalités de Snowflake ML comprennent :

• Snowpark ML : API Python natives pour le prétraitement, l’ingénierie des caractéristiques, l’entraînement et le déploiement au sein de Snowflake.

• Snowflake Feature Store : Espace gouverné pour créer, maintenir, réutiliser et servir des caractéristiques ML au sein de Snowflake.

• Snowflake Model Registry : Système centralisé de gestion des modèles, des métadonnées, des versions et des processus d'inférence.

• ML Observability : Supervision des performances, de la dérive et du volume des modèles après leur déploiement.

• Container Runtime for ML : Environnements CPU et GPU préconfigurés pour l'expérimentation, l'entraînement, l'optimisation, l'inférence par lots et le fine-tuning sur Snowpark Container Services.

• Snowflake ML Jobs : Un moyen d'exécuter des processus ML au sein des runtimes de conteneurs Snowflake ML à partir de différents environnements de développement.

• Notebooks sur Container Runtime : Des environnements de développement interactifs adaptés à l’entraînement des modèles et à l’ajustement des paramètres, avec les packages ML les plus courants préinstallés.

L’avantage architectural est clair : les équipes peuvent concevoir et exploiter le ML là où résident déjà les données gouvernées. Un pipeline de caractéristiques peut lire des tables contrôlées, une tâche d'entraînement peut utiliser les ressources de calcul Snowflake, un modèle peut être enregistré dans le registre, l'inférence peut s'exécuter sur des données gouvernées et la supervision peut suivre l'évolution du comportement en production au fil du temps. 

Bien que l’architecture ne dispense pas de l’expertise en data science, de l’examen de la gouvernance ou de la gestion des risques liés aux modèles, elle offre aux équipes un socle plus cohérent pour passer de l’expérimentation à la production.

Le machine learning transforme les données en prédictions et en décisions automatisées, mais le modèle n’est qu’un composant du système. Son environnement est tout aussi crucial : les données d'entraînement doivent être fiables, les caractéristiques définies de manière cohérente, et les modèles évalués avant leur mise en production, puis supervisés en continu, car les données, les utilisateurs et les conditions métier évoluent.

Pour les équipes en entreprise, la question concrète n’est pas de savoir quel algorithme choisir. Il s'agit plutôt de déterminer si l'organisation peut associer des données gouvernées, des pipelines reproductibles, des dispositifs de contrôle du cycle de vie des modèles et l'évaluation ou la supervision du ML en production au sein d'un modèle opérationnel unique, et maintenir cette cohérence à mesure que le système se met à l'échelle.