Modèles de machine learning : types et critères de choix

Demandez aujourd’hui à quelqu’un de citer un modèle de machine learning : il mentionnera probablement ChatGPT ou un autre grand modèle de langage (LLM). Pourtant, la plupart des organisations s’appuient encore chaque jour sur de nombreux autres types de modèles, pour les prévisions, les scores de risque, les recommandations, la détection d’anomalies et d’autres prédictions délimitées. Une même entreprise peut exécuter des dizaines, voire des centaines de modèles reposant sur des fondements mathématiques totalement différents.

L’un peut être une régression linéaire avec une poignée de coefficients, un autre un ensemble d’arbres entraîné par gradient boosting sur des millions d'enregistrements, et un autre encore un modèle de fondation contenant des milliards de paramètres. Les différentes familles de modèles formulent des hypothèses différentes sur les données, apprennent différents types de relations et impliquent des exigences différentes en matière d’entraînement, d’inférence et d’interprétation.

Ces différences ne sont pas théoriques. Elles déterminent les problèmes qu’un modèle peut résoudre, la quantité de données dont il a besoin, la façon dont ses résultats peuvent être évalués et son adéquation aux exigences de la tâche à accomplir.

Le modèle le plus puissant n’est pas toujours le meilleur choix. Un modèle plus petit ou plus spécialisé peut fournir des résultats comparables à moindre coût, avec une exécution plus rapide ou une évaluation plus simple. Comme l’écrit Kyle Schmaus de Snowflake : « Le défi consiste à déterminer où les modèles de pointe sont réellement nécessaires et où des alternatives optimisées peuvent atteindre le même résultat. » C’est pourquoi les entreprises ont besoin de la flexibilité nécessaire pour choisir parmi les familles de modèles. En pratique, cela signifie gérer un portefeuille de modèles sélectionnés pour différentes tâches, différents types de données et différentes exigences de performance.

Un modèle de machine learning est une représentation entraînée de régularités ou de relations présentes dans les données. Il accepte une entrée, applique les paramètres appris pendant l'entraînement et produit une sortie telle qu'une valeur prédite, une probabilité de classe, une séquence générée ou une affectation de groupe.

Le modèle est distinct de l’algorithme utilisé pour le créer. L’algorithme régit la façon dont l’apprentissage se produit, tandis que le modèle contient les paramètres et la structure appris à partir des données.

Un algorithme d'arbre de décision, par exemple, recherche les valeurs de caractéristiques qui divisent les exemples d'entraînement en groupes de plus en plus pertinents. L’arbre ajusté, avec ses caractéristiques sélectionnées, ses seuils de séparation et ses valeurs aux feuilles, est le modèle. Une autre exécution du même algorithme sur des données différentes peut produire un arbre différent.

Cette distinction sépare également l’entraînement de l’inférence. Pendant l’entraînement, l’algorithme d’apprentissage ajuste les paramètres du modèle pour réduire une erreur ou améliorer un autre objectif. Pendant l’inférence, le modèle entraîné applique ces paramètres à de nouvelles données. Un modèle qui estime le risque de défaillance d’un équipement peut apprendre à partir de relevés de capteurs historiques et de registres de maintenance, puis exécuter l’inférence chaque heure à mesure que de nouveaux relevés arrivent.

Les paramètres prennent différentes formes selon les familles de modèles. Dans une régression linéaire, ils incluent le coefficient attribué à chaque caractéristique d’entrée. Un arbre stocke des règles de division et des valeurs de prédiction. Un réseau neuronal peut contenir des millions, voire des milliards de poids répartis entre les couches. Quelle que soit leur structure, ces valeurs apprises constituent l’essentiel de ce que le modèle retient de l’entraînement.

Un modèle de production comprend généralement plus que de simples paramètres appris. Il peut également intégrer la logique de prétraitement, les schémas d'entrée attendus, les étiquettes de classes, les informations de dépendances et les métadonnées nécessaires pour reproduire les prédictions de manière fiable.

Regardez Tuhin Ghosh de Coinbase expliquer comment les capacités de Snowflake ML simplifient la façon dont Coinbase déploie le machine learning à grande échelle :

Un workflow de machine learning typique commence par un jeu de données contenant des observations pertinentes pour la tâche. Chaque observation est représentée par des caractéristiques, les variables d'entrée disponibles pour le modèle. Pour l’apprentissage supervisé, les données comprennent également une étiquette ou une valeur cible qui représente la sortie souhaitée. Un jeu de données de risque de crédit, par exemple, pourrait contenir des caractéristiques décrivant le revenu, l'historique de paiement et l'endettement existant, ainsi qu'une étiquette indiquant si un emprunteur antérieur a remboursé un prêt.

Avant le début de l'entraînement, les praticiens nettoient et transforment généralement les données, construisent des caractéristiques utiles et répartissent les exemples disponibles en jeux d'entraînement, de validation et de test. Ces partitions ont des objectifs différents : le jeu d’entraînement ajuste le modèle, le jeu de validation facilite la sélection du modèle et des hyperparamètres, et le jeu de test fournit une estimation finale à partir de données qui n’ont pas guidé le développement.

L’algorithme d’entraînement fait ensuite passer les exemples dans le modèle et compare ses résultats avec le résultat souhaité. Une fonction de perte convertit la différence en valeur numérique. L’optimisation ajuste les paramètres pour réduire cette perte, bien que le processus d’ajustement exact diffère considérablement selon les familles de modèles. Un modèle linéaire peut estimer des coefficients par une solution analytique ou une optimisation itérative, tandis qu'un réseau de neurones calcule généralement des gradients et les rétropropage à travers ses couches.

Les praticiens définissent également des hyperparamètres, qui contrôlent le processus d’apprentissage ou la structure du modèle plutôt que d’être appris directement à partir des exemples d’entraînement. Il peut s’agir de la profondeur maximale d’un arbre, du nombre d’arbres dans une forêt aléatoire, d’une pénalité de régularisation ou du taux d’apprentissage utilisé pour mettre à jour les poids du réseau neuronal.

Une fois ajusté, le modèle est évalué sur des données mises de côté. La métrique pertinente dépend de la tâche et des conséquences de ses erreurs. L’exactitude peut être utile lorsque les classes sont raisonnablement équilibrées et que les coûts des différentes erreurs sont similaires, tandis que la précision, le rappel, la calibration ou l’aire sous une courbe peuvent mieux décrire d’autres systèmes. Les tâches de régression peuvent utiliser l’erreur absolue moyenne, la racine de l’erreur quadratique moyenne ou une fonction de coût spécifique au domaine. La sélection des métriques fait partie de la définition du problème : deux modèles peuvent changer de classement lorsqu’ils sont évalués selon des mesures différentes.

L’objectif est la généralisation, c’est-à-dire la performance sur de nouveaux exemples issus des conditions que le modèle est censé rencontrer. Un modèle peut s’ajuster étroitement à ses données d’entraînement sans apprendre de relations transposables au-delà, ce qui entraîne de mauvais résultats en production. C’est en raison de cet écart que l’évaluation doit utiliser des exemples exclus de l’ajustement et que la performance en production doit encore être surveillée après le déploiement.

La qualité du modèle est également limitée par les informations disponibles dans les données. Des variables manquantes, des mesures incohérentes, des étiquettes inexactes et des échantillons non représentatifs peuvent enseigner au modèle des relations qui ne tiennent pas en production. Les algorithmes tolèrent différemment le bruit, les valeurs aberrantes et les valeurs manquantes, mais aucun modèle ne peut retrouver un signal que les données n'ont jamais capté.

Il n’existe pas de liste définitive des types de modèles de machine learning, car les modèles peuvent être regroupés selon plusieurs dimensions : par approche d’apprentissage, par tâche et par famille de modèles.

Une forêt aléatoire, par exemple, est une famille de modèles basée sur les arbres. Elle utilise généralement l’apprentissage supervisé et peut effectuer une classification ou une régression. Distinguer ces dimensions permet de mieux comprendre les liens entre les modèles.

Par approche d’apprentissage

Les approches d'apprentissage diffèrent selon le type de feedback disponible pendant l'entraînement. Certains modèles apprennent à partir d’exemples étiquetés, tandis que d’autres identifient une structure dans des données non étiquetées, dérivent des cibles des données elles-mêmes ou s’améliorent grâce aux récompenses reçues d’un environnement.

• L’apprentissage supervisé entraîne un modèle à partir d’exemples contenant à la fois des entrées et des valeurs cibles connues. Il prend en charge des tâches telles que la classification, la régression et le classement.
• L’apprentissage non supervisé fonctionne sans étiquettes cibles prédéfinies. Le modèle identifie plutôt une structure dans les entrées, par exemple en regroupant des observations similaires, en estimant une distribution de données ou en apprenant une représentation de dimension inférieure.
• L’apprentissage semi-supervisé combine un ensemble réduit d’exemples étiquetés avec un ensemble plus vaste de données non étiquetées. Il est utile lorsque les entrées sont abondantes, mais que l’étiquetage par des experts est coûteux ou lent.
• L’apprentissage auto-supervisé dérive les cibles d’entraînement des données elles-mêmes. Un modèle de langage peut apprendre à prédire des tokens manquants ou suivants, tandis qu’un modèle d’image peut apprendre en reconstruisant des régions masquées ou en comparant des vues transformées d’une même image. Cette approche est à la base d’une grande partie du pré-entraînement utilisé pour les modèles de fondation modernes.
• L’apprentissage par renforcement entraîne un agent par le biais d’interactions avec un environnement. Plutôt que d’apprendre à partir d’une étiquette fixe pour chaque exemple, l’agent reçoit des récompenses associées à ses actions et apprend une politique visant à maximiser la récompense cumulée.

Les explications introductives désignent parfois l’apprentissage supervisé, non supervisé, semi-supervisé et par renforcement comme les « quatre types de machine learning ». Cela reste une réponse générale utile, à condition de les identifier comme des approches d’apprentissage plutôt que comme quatre types exhaustifs de modèles.

Par tâche

Les modèles peuvent également être regroupés selon le type de résultat qu’ils produisent. Une même famille peut prendre en charge plusieurs tâches, notamment la classification, la régression, le clustering, le classement, la prévision et la génération.

• La classification attribue une entrée à une ou plusieurs catégories. Un modèle peut classer une transaction comme légitime ou potentiellement frauduleuse, identifier un objet dans une image ou acheminer une demande d’assistance vers la file d’attente appropriée.
• Les modèles de régression prédisent une valeur numérique continue, telle que la demande, la température ou le délai de livraison.
• Le clustering regroupe les observations selon une mesure de similarité, sans s'appuyer sur des étiquettes de catégories prédéfinies.
• Le classement ordonne les résultats possibles, comme dans la recherche, les recommandations ou la priorisation des leads.
• La prévision estime des valeurs futures en tenant compte de l’ordre temporel et de régularités telles que la saisonnalité.
• La génération produit de nouveaux contenus ou des résultats structurés, notamment du texte, des images, de l’audio, du code et des représentations moléculaires.

Parmi les autres tâches figurent la détection d'anomalies, la réduction de dimensionnalité, l'apprentissage de représentations et le contrôle. Un même modèle peut également prendre en charge plusieurs tâches, en particulier lorsqu’il a été pré-entraîné sur des données très variées.

Par famille de modèles

Une famille de modèles décrit la structure par laquelle le modèle représente les relations. Ces catégories peuvent se chevaucher. Un autoencodeur est à la fois une architecture de réseau de neurones et un modèle de réduction de dimensionnalité, par exemple, tandis qu’un transformeur est une architecture de réseau de neurones utilisée par de nombreux modèles de fondation. L’étiquette de la famille renseigne les praticiens sur les mécanismes, les hypothèses et le profil de calcul du modèle, mais elle ne définit pas entièrement la tâche que le modèle est censé accomplir.

Les familles suivantes couvrent bon nombre des modèles utilisés en machine learning appliqué. Elles sont représentatives plutôt qu’exhaustives, et plusieurs incluent des algorithmes prenant en charge plus d’une tâche.

Modèles linéaires

Les modèles linéaires calculent une sortie à partir d'une combinaison pondérée des caractéristiques d'entrée. En régression linéaire, le résultat est une valeur continue. La régression logistique applique une formulation similaire pour estimer la probabilité d’une classe.

Supposons qu’un modèle estime le délai de livraison à partir de la longueur de l’itinéraire, du volume des commandes et de la charge de travail de l’entrepôt. Un modèle linéaire attribue un coefficient à chaque caractéristique, représentant la manière dont le délai de livraison prédit évolue lorsque cette caractéristique change, en supposant que les autres restent fixes.

Cette structure fait des modèles linéaires des références de base utiles. Ils s’entraînent rapidement, s’exécutent efficacement lors de l’inférence et exposent des relations que les praticiens peuvent inspecter. Les méthodes de régularisation telles que ridge, lasso et elastic net contraignent les coefficients, ce qui peut réduire le surapprentissage et, dans certains cas, simplifier l'ensemble de caractéristiques.

Cette même structure constitue toutefois aussi une limite. Un modèle linéaire de base ne peut pas capturer une relation courbe ou une interaction, à moins que ces termes ne soient fournis comme caractéristiques. Lorsque la relation sous-jacente est fortement non linéaire, un modèle linéaire peut souffrir de sous-apprentissage, même lorsqu’il est configuré correctement.

Arbres de décision

Un arbre de décision représente une prédiction sous la forme d’une séquence de divisions basées sur les caractéristiques. À chaque nœud interne, le modèle évalue une condition, par exemple si le solde d’un compte dépasse un seuil appris. Le chemin à travers ces conditions mène à une feuille contenant une classe prédite, une probabilité ou une valeur numérique.

Les arbres peuvent représenter des relations non linéaires et des interactions sans que les praticiens aient à les spécifier à l’avance. Ils peuvent également fonctionner avec un mélange de types de caractéristiques et nécessitent généralement moins de mise à l’échelle ou de normalisation que les méthodes linéaires et basées sur la distance.

Un petit arbre est relativement simple à inspecter, car une prédiction peut être retracée à travers un ensemble fini de règles, mais l’interprétabilité diminue à mesure que l’arbre s’approfondit et développe de nombreuses branches. Les arbres individuels peuvent aussi être instables. Une modification modeste des données d’entraînement peut altérer une division précoce et produire une structure sensiblement différente. Limiter la profondeur, exiger plus d’exemples par feuille ou élaguer l’arbre ajusté peut réduire le surapprentissage, bien que ces contrôles puissent aussi empêcher le modèle de représenter une complexité utile.

Modèles arborescents d'ensemble

Les méthodes d’ensemble combinent plusieurs modèles afin que leur prédiction agrégée soit plus précise ou plus stable que le résultat d’un modèle isolé. Deux des approches arborescentes les plus courantes sont les forêts aléatoires et le gradient boosting.

Une forêt aléatoire ajuste de nombreux arbres de décision à partir de différents échantillons d’observations et de sous-ensembles aléatoires de caractéristiques candidates. Pour la classification, la forêt combine les prédictions des arbres, soit par un vote majoritaire, soit en calculant la moyenne de leurs probabilités de classe prédites. Pour la régression, la moyenne de leurs prédictions numériques est calculée. Comme les arbres ne commettent pas tous les mêmes erreurs, l’agrégation réduit généralement la variance associée à un seul arbre ajusté.

Les arbres de gradient boosting sont construits de manière séquentielle. Chaque nouvel arbre se concentre sur la correction des erreurs laissées par l’ensemble actuel. Des implémentations telles que XGBoost, LightGBM et CatBoost ajoutent différentes optimisations et différents contrôles, mais toutes utilisent le boosting plutôt que la construction d’arbres plus indépendante d’une forêt aléatoire.

Les ensembles arborescents sont souvent performants sur les données tabulaires structurées, où les observations apparaissent sous forme de lignes et les caractéristiques sous forme de colonnes. Leurs inconvénients incluent des artefacts de modèle plus volumineux, des coûts d'entraînement ou d'inférence supplémentaires et une interprétabilité directe réduite par rapport à un arbre simple. Les mesures d'importance des caractéristiques et les méthodes d'explication post hoc peuvent mettre en lumière certains aspects de leur comportement, mais elles ne transforment pas l'ensemble en un jeu de règles simples.

Machine à vecteurs de support

Une machine à vecteurs de support (support vector machine, SVM) apprend une frontière qui sépare les classes tout en maximisant la marge entre cette frontière et les exemples d'entraînement les plus proches. Ces exemples proches, appelés vecteurs de support, déterminent la frontière de décision ajustée.

Lorsque les classes ne peuvent pas être séparées par une ligne droite ou un hyperplan plat, une fonction noyau peut représenter des relations non linéaires par le biais de similarités entre les observations. La régression à vecteurs de support applique des mécanismes similaires à la prédiction continue.

Les SVM peuvent être performants sur des données de taille modérée et de haute dimension, en particulier lorsque les caractéristiques fournissent déjà une représentation utile. La classification de texte à partir de caractéristiques éparses de mots ou de tokens en est un exemple classique.

La méthode devient moins praticable à mesure que le nombre d'exemples d'entraînement augmente, en particulier avec des noyaux non linéaires. Les résultats dépendent également de la mise à l'échelle des caractéristiques et de choix tels que le noyau, la force de régularisation et les paramètres du noyau. La frontière apprise étant définie par des vecteurs de support plutôt que par une courte liste de coefficients ou un chemin de décision, expliquer une prédiction individuelle peut nécessiter une analyse complémentaire.

Modèles des plus proches voisins

Les méthodes des plus proches voisins prédisent à partir des exemples d'entraînement les plus similaires à une nouvelle entrée. Un classifieur k plus proches voisins identifie un nombre déterminé d'exemples d'entraînement les plus similaires et attribue une classe en fonction de leurs votes. Pour la régression, il peut calculer la moyenne de leurs valeurs cibles.

Cette approche est parfois qualifiée d’apprentissage paresseux (lazy learning), car l’ajustement implique relativement peu d’estimation de paramètres. Le modèle conserve plutôt les exemples de référence et effectue une grande partie de son travail lors de l’inférence.

La méthode est simple à comprendre et peut représenter des frontières de décision irrégulières, mais son comportement dépend de la définition de la distance. Des caractéristiques mesurées sur des échelles très différentes peuvent fausser la similarité si elles ne sont pas standardisées, et des dimensions non pertinentes peuvent faire paraître éloignés des exemples réellement similaires.

L’inférence peut également devenir coûteuse à mesure que les données de référence augmentent. Les techniques d’indexation et de recherche approximative des voisins réduisent le coût de la recherche, mais les modèles des plus proches voisins imposent à un système des exigences de stockage et de latence différentes de celles d’un modèle linéaire compact ou d’un arbre de décision.

Modèles probabilistes

Les modèles probabilistes représentent les relations au moyen de distributions de probabilité. Plutôt que de produire uniquement une classe ou une estimation numérique, ils peuvent calculer la probabilité de plusieurs résultats ou représenter l’incertitude de variables cachées.

Les classificateurs Naive Bayes estiment une classe à partir de la probabilité conditionnelle des caractéristiques observées, en s’appuyant sur une hypothèse d’indépendance qui rend l’ajustement efficace. Les modèles de mélanges gaussiens décrivent les données comme une combinaison de distributions de probabilité et sont souvent utilisés pour le clustering ou l’estimation de densité. Les réseaux bayésiens représentent des relations conditionnelles entre variables, tandis que les modèles de Markov cachés représentent des séquences dont les états sous-jacents ne sont pas directement observés.

Ces modèles sont utiles lorsque l’incertitude fait partie du problème plutôt que d’en être un résultat accessoire. Une prévision probabiliste, par exemple, peut estimer une distribution de demandes possibles au lieu d’une valeur ponctuelle unique.

Leurs hypothèses peuvent les rendre efficaces sur le plan du calcul et interprétables, mais leur performance dépend de la mesure dans laquelle ces hypothèses décrivent raisonnablement les données. Une structure de dépendances simplifiée peut ne pas capturer des relations importantes, tandis qu’un modèle probabiliste plus expressif peut devenir difficile à estimer.

Modèles de clustering

Les modèles de clustering trouvent des groupes d’observations similaires sans entraînement sur des étiquettes de classe connues. Comme aucune définition unique d’un cluster ne convient à tous les jeux de données, différentes méthodes recherchent différents types de structure.

K-means affecte les observations à un nombre spécifié de clusters, chacun représenté par un centroïde appris. Il fonctionne mieux lorsque la distance à un centroïde représente de manière significative l’appartenance et que les clusters présentent des formes et des échelles globalement compatibles.

Le clustering hiérarchique combine ou divise des groupes de manière répétée pour créer une structure imbriquée. Les praticiens peuvent inspecter cette hiérarchie à différents niveaux plutôt que de s’engager d’emblée sur un regroupement unique et plat.

Les méthodes fondées sur la densité, dont DBSCAN, identifient les régions contenant des observations très rapprochées et peuvent marquer les points isolés comme du bruit. Cela leur permet de trouver des formes de clusters que les méthodes fondées sur les centroïdes peuvent manquer, même si le résultat dépend des seuils de densité.

Les clusters n’ont pas de signification métier intrinsèque. Après l’ajustement, les praticiens doivent inspecter les caractéristiques et les exemples associés à chaque groupe, vérifier la stabilité des groupes et leur pertinence pour l’analyse ou le processus prévu.

Modèles de réduction de la dimensionnalité

La réduction de la dimensionnalité représente les données à l’aide d’un nombre réduit de variables tout en préservant certains aspects de leur structure. La représentation obtenue peut soutenir la visualisation, le débruitage, la compression ou l’entraînement de modèles en aval.

L’analyse en composantes principales (ACP) apprend de nouveaux axes qui capturent des quantités progressivement plus faibles de variation dans l’entrée. Comme les composantes sont des combinaisons pondérées des caractéristiques d’origine, l’ACP peut condenser des mesures corrélées dans un espace de caractéristiques plus restreint.

D’autres méthodes préservent des propriétés différentes. Certaines privilégient les voisinages locaux à des fins de visualisation, tandis que les autoencodeurs utilisent un réseau de neurones pour compresser une entrée en une représentation de dimension inférieure et la reconstruire.

Réduire le nombre de caractéristiques peut diminuer les coûts de stockage et de calcul ou éliminer le bruit, mais peut aussi écarter de l’information. Les composantes apprises peuvent être plus difficiles à expliquer que les variables d’origine, et une représentation qui préserve la variance globale peut ne pas préserver les distinctions les plus importantes pour la tâche de prédiction.

Réseaux neuronaux

Un réseau neuronal se compose de couches qui transforment une entrée au moyen de poids appris et de fonctions non linéaires. Pendant l'entraînement, le réseau produit une sortie, calcule une perte et rétropropage les gradients afin qu'un optimiseur puisse mettre à jour ses paramètres.

Différentes architectures imposent des structures adaptées à différentes données :

• Les réseaux à propagation avant transmettent l'information à travers une séquence de couches et prennent en charge les tâches générales de classification et de régression.
• Les réseaux neuronaux convolutifs appliquent des filtres appris sur des entrées spatiales et sont couramment utilisés pour les images.
• Les réseaux neuronaux récurrents conservent un état au fil des séquences, même si les transformers gèrent désormais de nombreuses tâches autrefois confiées aux architectures récurrentes.
• Les transformers utilisent des mécanismes d’attention pour modéliser les relations entre les éléments d’une séquence ou d’une autre représentation tokenisée.
• Les autoencodeurs apprennent des représentations compressées en reconstruisant leurs entrées.
• Les réseaux neuronaux de graphes échangent des informations entre nœuds connectés pour modéliser des structures relationnelles.

Les réseaux de neurones peuvent apprendre des fonctions complexes et, avec suffisamment de données, extraire des représentations utiles à partir d'images, d'audio, de texte et d'autres entrées de haute dimension. Cette flexibilité s’accompagne souvent d’exigences plus élevées en données et en calcul, d’un réglage plus poussé et d’une interprétabilité moins directe que celle de modèles plus simples.

L’architecture seule ne détermine pas la qualité. La construction des données, la conception de l’objectif, l’optimisation, la régularisation et l’évaluation influencent toutes la capacité d’un réseau neuronal à généraliser au-delà de ses exemples d’entraînement.

Modèles de séries temporelles

Les modèles de séries temporelles tiennent compte de l’ordre dans lequel les observations surviennent. Un système de prévisions peut devoir représenter des tendances, des régularités saisonnières récurrentes, des effets différés et des variables externes qui évoluent au fil du temps.

Les modèles statistiques tels que la moyenne mobile intégrée autorégressive (ARIMA) utilisent les valeurs passées et les régularités résiduelles pour estimer les observations futures. Les méthodes de lissage exponentiel modélisent des composantes telles que le niveau, la tendance et la saisonnalité. Les ensembles arborescents peuvent utiliser des caractéristiques construites à partir de décalages temporels et de fenêtres glissantes, tandis que les réseaux récurrents et les transformeurs peuvent apprendre des représentations temporelles à partir de séquences.

La sélection d’un modèle de séries temporelles revient souvent à trouver l’équilibre entre précision, interprétabilité et coût de calcul. Schmaus explique : « Les méthodes classiques, comme ARIMA et le lissage exponentiel, sont rapides à entraîner, très efficaces et simples à interpréter, tandis que les méthodes neuronales peuvent offrir une précision accrue et intégrer des entrées exogènes et des non-linéarités, au détriment toutefois de l’efficacité de l’entraînement et de l’inférence. »

L’évaluation doit également préserver l’ordre temporel. Une répartition aléatoire entre entraînement et test peut laisser fuiter des informations futures dans l’entraînement et produire un résultat favorable de manière irréaliste. Les praticiens utilisent plutôt des jeux d’évaluation séparés chronologiquement ou des fenêtres d’évaluation glissantes qui reflètent plus fidèlement la manière dont les prévisions seront générées.

Modèles de fondation

Un modèle de fondation est entraîné sur des données étendues, généralement à grande échelle, et conçu pour être adapté à de nombreuses tâches en aval. La catégorie inclut les LLM ainsi que des modèles entraînés pour les images, l’audio, les séquences biologiques et d’autres modalités.

La plupart des modèles de fondation utilisent des réseaux neuronaux et un pré-entraînement auto-supervisé. Au lieu de collecter une étiquette distincte rédigée par un humain pour chaque exemple, le processus d’entraînement dérive des objectifs à partir des données, comme la prédiction d’un token manquant ou l’alignement de représentations d’images et de textes apparentées.

Après le pré-entraînement, le modèle peut être adapté par prompting, récupération, fine-tuning ou ajout de couches spécifiques à une tâche. Cette réutilisation le distingue d’un modèle entraîné uniquement pour une tâche de prédiction délimitée.

Parmi les exemples figurent des LLM tels que GPT, Claude, Llama et Mistral, ainsi que des modèles multimodaux tels que Gemini et Qwen2.5-VL. La catégorie inclut également des modèles de génération d’images tels que Stable Diffusion et FLUX, des modèles de reconnaissance vocale tels que Whisper et des modèles de fondation biologiques tels qu’ESM. Bien que ces modèles prennent en charge des tâches très différentes, ils partagent la caractéristique d’un pré-entraînement étendu suivi d’une adaptation aux applications en aval par prompting, récupération, fine-tuning ou entraînement supplémentaire.

La sélection d’un modèle est un processus empirique. Les différentes familles formulent des hypothèses différentes sur les données et introduisent des compromis différents ; les praticiens comparent donc généralement plusieurs candidats avant de sélectionner celui qui correspond le mieux à la tâche et aux exigences opérationnelles.

Définir la tâche et les critères d’évaluation

Déterminez d’abord si la sortie est une classe, une valeur numérique, un classement, un cluster, une prévision ou un résultat généré. Identifiez ensuite comment la sortie sera utilisée.

Dans un système de dépistage médical, par exemple, manquer un cas positif entraîne un coût très différent de celui de l’envoi d’un cas supplémentaire pour examen. En prévision de la demande, une sous-estimation peut être plus coûteuse qu'une surestimation de même ampleur. La métrique d’évaluation doit représenter ces conséquences plutôt que d’être simplement conventionnelle pour la tâche.

Examiner les données disponibles

La taille de l'échantillon, les types de caractéristiques, le caractère épars des données, la qualité des étiquettes et la structure temporelle réduisent le nombre de candidats envisageables en pratique.

Les ensembles arborescents fournissent souvent des références solides pour les données structurées présentant des relations de caractéristiques mixtes. Les modèles linéaires fonctionnent bien lorsque la relation est approximativement linéaire ou que la transparence est importante. Les SVM peuvent convenir aux données de taille modérée et de grande dimension, tandis que les réseaux neuronaux sont souvent envisagés lorsque de grandes quantités de données non structurées ou de grande dimension sont disponibles.

Il s’agit toutefois de points de départ plutôt que de règles de sélection. Dans un benchmark couvrant 176 jeux de données tabulaires, la performance relative des réseaux neuronaux et des arbres à gradient boosting variait selon des caractéristiques telles que les distributions des caractéristiques, et un réglage modeste importait parfois plus que le choix entre les deux familles.

Définir tôt les contraintes opérationnelles

Un modèle qui produit la meilleure métrique hors ligne peut néanmoins être inadapté à son environnement de production. Les équipes peuvent devoir limiter :

• Le temps d’entraînement et le coût d’infrastructure
• La latence d’inférence
• La mémoire et la taille du modèle
• La fréquence et le coût du réentraînement
• Les dépendances matérielles
• Les exigences d’explication
• Le volume et le schéma des requêtes de prédiction

Les compromis opérationnels changent souvent le modèle qui constitue le meilleur choix. Un modèle des plus proches voisins peut nécessiter peu d’entraînement mais reporter une plus grande partie du coût sur l’inférence, tandis qu’un ensemble peut améliorer la performance prédictive au détriment de la latence et de la mémoire. Un modèle linéaire plus simple peut donc être plus facile à auditer, à déployer et à réentraîner, même lorsqu’un candidat plus complexe produit un score légèrement meilleur.

Établir une référence simple

Une référence montre si une complexité supplémentaire produit un gain significatif. Pour la régression, cela peut commencer par la prédiction de la moyenne historique, puis par l’ajustement d’un modèle linéaire. Pour la classification, les praticiens peuvent comparer une règle de classe majoritaire, une régression logistique et un arbre de décision peu profond avant d’ajouter des ensembles ou des réseaux de neurones.

Le modèle de référence permet également de tester le pipeline. Des résultats étonnamment bons peuvent révéler une fuite de données, tandis que des résultats étonnamment faibles peuvent mettre en évidence des problèmes d'étiquettes, de jointures, de construction de caractéristiques ou d'évaluation.

Comparer les modèles dans des conditions homogènes

Les modèles candidats doivent utiliser les mêmes partitions de données et la même procédure d’évaluation. Le réglage des hyperparamètres doit s’effectuer sans consulter l’ensemble de test final, car des décisions répétées fondées sur la performance en test transforment cet ensemble en une source supplémentaire de feedback d’entraînement.

La validation croisée permet d’estimer comment la performance varie selon différents sous-ensembles des données, en particulier lorsque l’échantillon disponible est limité. Les données dépendantes du temps exigent des découpages qui préservent la chronologie.

La comparaison des modèles doit également prendre en compte la variabilité. Un score moyen légèrement supérieur peut ne pas être significatif lorsque les résultats varient fortement selon les partitions de validation croisée, les graines aléatoires ou les fenêtres temporelles.

Trouver l’équilibre entre sous-apprentissage et surapprentissage

Un modèle en sous-apprentissage est trop contraint pour capturer des relations importantes. Un modèle en surapprentissage apprend des régularités propres à son échantillon d’entraînement et se montre moins fiable sur de nouvelles données.

Ce phénomène est souvent décrit par le compromis biais-variance. Les estimateurs à biais élevé ont tendance à opérer des simplifications systématiques, tandis que les estimateurs à variance élevée réagissent fortement aux changements de l’ensemble d’entraînement. La famille de modèles, les hyperparamètres, la régularisation et le volume de données d’entraînement influent tous sur cet équilibre.

L’objectif n’est pas de sélectionner le modèle le plus flexible, mais de trouver une flexibilité suffisante pour représenter le signal utile sans modéliser le bruit ni engendrer des coûts opérationnels que le gain ne saurait justifier.

Tester dans les conditions de production attendues

Avant le déploiement, l'évaluation doit inclure les conditions que le modèle est susceptible de rencontrer : champs manquants, nouvelles catégories, caractéristiques retardées, volumes inhabituels et dérives de la distribution des entrées.

Le chemin de mise à disposition mérite lui aussi d’être testé. Le prétraitement appliqué pendant l’entraînement doit être reproduit lors de l’inférence, les définitions des caractéristiques doivent rester homogènes et la latence doit être mesurée sur l’ensemble du chemin de requête, et non sur le seul calcul du modèle.

La sélection reste provisoire après le lancement. Une fois le modèle exposé aux données de production, la supervision peut montrer si les entrées, les prédictions et les résultats ressemblent toujours aux conditions dans lesquelles il a été évalué.

Un modèle de machine learning encode les régularités présentes dans ses données d'entraînement. Il ne détermine pas de manière autonome si ces régularités sont complètes, causales ou adaptées à la décision à prendre.

Représentation incomplète

Les données d’entraînement constituent un échantillon d’observations passées produites par des systèmes et des processus existants. Elles peuvent omettre des populations pertinentes, des conditions rares ou des variables non enregistrées. Un modèle entraîné à partir de cet échantillon peut obtenir de bons résultats sur un sous-ensemble de validation tout en restant peu fiable dans des contextes que les données sources représentaient à peine.

Surapprentissage et dérive de distribution

Même un modèle soigneusement évalué peut rencontrer des données de production qui diffèrent de ses données d’entraînement. Le comportement des clients évolue, les capteurs sont remplacés, les définitions en amont sont révisées et de nouveaux produits modifient la distribution des caractéristiques. Certaines dérives réduisent la performance globale, tandis que d’autres n’affectent qu’une population ou une condition d’exploitation particulière. C’est pourquoi un monitoring agrégé peut passer à côté d’une dégradation localisée.

Biais dans les données et les étiquettes

Les étiquettes historiques reflètent la manière dont les décisions antérieures ont été prises et mesurées. Si certains groupes ont bénéficié de moins d’opportunités, d’un suivi moins complet ou de normes d’examen différentes, l’étiquette résultante peut encoder ces différences.

Le biais des données peut également s’introduire par l’échantillonnage, les valeurs manquantes, les variables proxy et le choix de la cible d’optimisation. L’atténuation exige d’examiner comment les données ont été produites, d’évaluer les résultats sur les groupes pertinents et d’analyser comment les sorties du modèle influencent la collecte de données ultérieure.

Interprétabilité limitée

Les modèles varient dans la facilité avec laquelle leurs mécanismes peuvent être inspectés. Les coefficients linéaires et les petits arbres de décision offrent des représentations relativement directes, tandis que les grands ensembles et les réseaux de neurones répartissent une prédiction sur de nombreux composants en interaction.

Les méthodes d’explication a posteriori peuvent estimer l’influence des caractéristiques ou caractériser le comportement local, mais ces explications comportent leurs propres hypothèses et limites. Le niveau d’interprétabilité requis dépend de la décision, de l’audience et des exigences de gouvernance applicables.

Corrélation sans causalité

Les modèles prédictifs exploitent souvent des corrélations qui améliorent les estimations sans identifier le mécanisme qui les a produites. Une caractéristique peut être fortement prédictive parce qu'elle sert de proxy pour une autre variable ou parce qu'un processus métier antérieur a créé cette relation.

Cela peut suffire pour certaines tâches de prévision, mais moins lorsque l’organisation veut savoir quelle intervention modifiera le résultat. Les questions causales exigent des protocoles d’étude et des hypothèses qui dépassent la modélisation prédictive standard.

Coûts de maintenance

Un modèle est connecté à des pipelines de données, à une logique de caractéristiques, à une infrastructure de mise à disposition et à des définitions métier. Toute modification de l’un de ces composants peut affecter son comportement. Les équipes doivent conserver le contexte d'entraînement, versionner les artefacts des modèles, superviser le comportement en production et déterminer quand examiner, réentraîner ou retirer un modèle. La charge opérationnelle s’alourdit lorsqu’une organisation gère de nombreux modèles avec des propriétaires, des dépendances et des calendriers d’actualisation différents.

Le développement de modèles fait appel à la préparation des données, à l’expérimentation, au calcul, à la gestion des versions et à l’inférence. Lorsque ces étapes sont réparties entre des environnements déconnectés, les équipes doivent reproduire les ensembles de données et la logique des caractéristiques, déplacer des artefacts entre les systèmes et reconstituer quelles entrées ont produit une version donnée du modèle.

Snowflake ML prend en charge ces étapes aux côtés des données d’entreprise gouvernées. Grâce aux capacités de Snowflake, les praticiens peuvent préparer des caractéristiques, entraîner des modèles, comparer des expérimentations, enregistrer des versions de modèles, exécuter l’inférence et monitorer le comportement en production.

Snowpark fournit des API DataFrame pour interroger et traiter les données dans Snowflake en Python, Java ou Scala. Pour les workflows de machine learning en Python, les praticiens peuvent construire des transformations et travailler avec les données Snowflake sans avoir au préalable à exporter l'ensemble du jeu d'entraînement vers un système de traitement séparé.

Pour les charges de travail nécessitant des bibliothèques spécialisées, des CPU ou des GPU, Snowflake Container Runtime fournit des environnements préconfigurés et personnalisables pour l'expérimentation, l'entraînement de modèles, le réglage des hyperparamètres et l'inférence par lots. Les environnements sont versionnés, ce qui permet aux équipes de figer une charge de travail sur un runtime spécifique et de planifier les migrations vers des versions ultérieures.

Une fois entraîné, un modèle peut être consigné dans Snowflake Model Registry avec ses métadonnées et ses versions. Le registre prend en charge les types de modèles courants, notamment scikit-learn, XGBoost, LightGBM, CatBoost, PyTorch, TensorFlow, Keras, les modèles MLflow et les pipelines Hugging Face, ainsi que les types de modèles personnalisés via l’interface CustomModel.

Les modèles enregistrés peuvent exécuter l’inférence par lots dans un entrepôt virtuel Snowflake ou utiliser Snowpark Container Services pour les workloads qui exigent d’autres caractéristiques de calcul. Snowflake prend également en charge des services managés d’inférence en temps réel avec des points de terminaison HTTP dédiés pour les applications interactives à faible latence.

Conserver les versions et les métadonnées des modèles au sein de l’environnement gouverné offre également aux équipes une trace plus claire de ce qui sert les prédictions. Les contrôles d’accès peuvent déterminer qui gère ou invoque un modèle, tandis que les métriques et métadonnées stockées facilitent la comparaison et la gestion du cycle de vie. Le modèle reste un élément parmi d’autres du système de production, mais sa relation aux données, au calcul et à la gouvernance est plus facile à préserver lorsque ces composants opèrent via une plateforme partagée.

Les modèles de machine learning diffèrent par la manière dont ils représentent les relations, les données avec lesquelles ils fonctionnent bien et les compromis qu’ils introduisent. Cette diversité fait partie de la manière dont le machine learning d’entreprise se développe en pratique. Les entreprises ont besoin de la flexibilité nécessaire pour évaluer différentes familles, sélectionner le modèle adapté à chaque tâche et maintenir un portefeuille capable d’évoluer au gré des changements de données, d’exigences et de méthodes disponibles.