Expedition. Accès gratuit sur demande.

Des sessions techniques pour les praticiens, des résultats concrets pour les dirigeants.

Traitement du langage naturel

Le traitement automatique du langage naturel à l'ère des LLM

De la classification à la recherche sémantique, en passant par la RAG et l’IA générative, le NLP regroupe aujourd’hui un large éventail de techniques dédiées au traitement du langage. Comprendre le rôle de chacune aide les équipes à créer des systèmes d’IA plus performants.

DÉFINITION DU NLP

Le traitement automatique du langage naturel (TAL, ou NLP pour Natural Language Processing) est la discipline qui consiste à concevoir des systèmes informatiques capables de traiter le langage humain : reconnaître des schémas et du sens, retrouver des informations ou encore générer des réponses.

Le langage humain regorge d’ambiguïtés. Le sens des mots varie selon leur contexte, et une même idée peut s’exprimer d’innombrables façons. Depuis des décennies, le traitement du langage naturel (NLP) s’efforce de rendre cette complexité intelligible pour les ordinateurs. Les grands modèles de langage (Large Language Models, LLM) constituent une catégorie de modèles particulièrement puissante au sein du NLP. Pour autant, ils n’ont pas rendu les autres approches obsolètes. Le NLP moderne s’appuie toujours sur un ensemble de modèles et de techniques, chacun adapté à des types de tâches linguistiques et à des exigences système différents.

Qu’est-ce que le traitement automatique du langage naturel ?

Le traitement du langage naturel est une branche de l’intelligence artificielle et de l’informatique qui vise à permettre aux ordinateurs de traiter le langage humain pour en extraire ou en produire du sens.

Cette discipline regroupe deux domaines étroitement liés :

  • La compréhension du langage naturel (Natural Language Understanding, NLU) porte sur l’interprétation du langage : identifier une intention, classer un texte, extraire des entités ou déterminer les relations entre les mots dans leur contexte.
  • La génération de langage naturel (Natural Language Generation, NLG) concerne la production de langage, notamment la synthèse, la traduction, la réponse aux questions et l’IA générative.

Dans les systèmes actuels, ces deux catégories se recoupent souvent. Une application conversationnelle, par exemple, doit interpréter la demande d’un utilisateur avant de générer une réponse appropriée. Un système d’analyse intelligente de documents peut repérer les passages pertinents, en extraire des informations structurées, puis résumer ses conclusions.

Le NLP désigne aujourd’hui un domaine plutôt qu’une pile technique particulière. Règles, modèles statistiques, réseaux de neurones spécialisés et LLM jalonnent son histoire et, dans certains cas, font toujours partie des pratiques actuelles.

Découvrez comment Booking.com accélère l’innovation dans le secteur du voyage avec Cortex AI :

Le traitement du langage naturel est un domaine de l’IA consacré aux approches informatiques permettant de traiter, de comprendre et de générer le langage humain. Un LLM est un type particulier de modèle pré-entraîné qui s’inscrit dans ce domaine : il repose généralement sur l’architecture Transformer, est entraîné sur de très grands volumes de données et peut accomplir un large éventail de tâches linguistiques.

Les modèles de NLP spécialisés continuent de fonctionner aux côtés des LLM. Pour une charge de travail étroitement définie, en particulier lorsqu’elle traite de gros volumes ou impose des exigences strictes de latence, de coût ou de format de sortie, un classifieur spécialisé ou un modèle de langage plus petit peut être plus adapté qu’un LLM. À l’inverse, une application qui nécessite une interaction souple avec de nombreux types de langage a plus de chances de tirer parti d’un LLM.

Modèles de NLP spécialisés et LLM

CritèreModèles de NLP spécialisésLLM
PérimètreConçus ou entraînés pour une tâche linguistique relativement cibléePré-entraînés de façon large pour prendre en charge de nombreuses tâches linguistiques
Tâches typesAnalyse des sentiments, détection du spam, reconnaissance d’entités nommées, classification d’intentionRésumé, réponse aux questions, extraction, classification, génération et interaction conversationnelle
Entraînement et adaptationGénéralement entraînés ou ajustés autour d’une tâche définie et d’un jeu de données étiquetéPré-entraînés à grande échelle, puis orientés ou spécialisés par prompting, récupération, fine-tuning ou d’autres méthodes d’adaptation
Flexibilité des sortiesGénéralement limitées à un ensemble connu d’étiquettes, de scores ou de sorties structuréesPrennent en charge des résultats beaucoup plus ouverts et variés
Profil de ressourcesSouvent plus compacts et moins gourmands en ressources de calculGénéralement plus volumineux et plus exigeants en ressources de calcul
Cas d’usage idéalCharges de travail ciblées et prévisibles, où l’efficacité et l’homogénéité sont prioritairesApplications nécessitant de vastes capacités linguistiques, des instructions flexibles ou l’exécution de plusieurs tâches au sein d’un même modèle
ExempleUn modèle qui classe les tickets de support par type de problèmeUn modèle qui lit un ticket d’assistance, le résume, identifie le problème et rédige un brouillon de réponse

Les architectures de NLP modernes combinent souvent les deux approches. Un système peut s’appuyer sur un classifieur spécialisé pour une tâche de routage à fort volume, sur un modèle d’embedding pour la récupération et sur un LLM pour générer une réponse. Il s’agit rarement de savoir qui, du NLP ou des LLM, « l’emporte ». Les équipes choisissent le modèle, ou la combinaison de modèles, qui convient à chaque composant de l’application.

Comment fonctionne le traitement du langage naturel ?

Il n’existe pas de pipeline de NLP unique. Un analyseur à base de règles, un classifieur statistique et un modèle de langage fondé sur l’architecture Transformer traitent le texte de manière différente.

Dans les grandes lignes, les systèmes de NLP doivent toutefois pouvoir représenter le langage sous forme calculable, identifier des relations utiles au sein de cette représentation et produire une sortie adaptée à la tâche. Dans les systèmes modernes fondés sur l’architecture Transformer, ce processus commence généralement par la tokenisation et se poursuit à travers des couches de représentations contextuelles apprises.

1. Convertir le texte en tokens

Avant qu’un modèle ne traite le langage, le texte est découpé en unités appelées tokens (ou jetons). De nombreux modèles de langage modernes utilisent une tokenisation en sous-mots : le texte est décomposé en mots fréquents, en fragments de mots ou en séquences de caractères, sans qu’il soit nécessaire que chaque mot possible figure en tant qu’entrée distincte du vocabulaire.

Cette approche aide les modèles à gérer les termes rares, les variantes d’un même mot et les langues au vocabulaire étendu. Un mot que le modèle n’a jamais rencontré en tant qu’unité peut être représenté par des composants plus petits et familiers.

Chaque token reçoit un identifiant tiré du vocabulaire du modèle. À ce stade, cependant, le modèle ne dispose que de nombres représentant des symboles, et non d’une représentation exploitable de leur sens.

2. Représenter les tokens sous forme de vecteurs

Le modèle associe les identifiants de tokens à des vecteurs, appelés embeddings vectoriels : des tableaux de valeurs numériques qui fournissent une représentation mathématique que le réseau peut traiter.

Ces embeddings initiaux ne sont qu’un point de départ. À mesure que la représentation traverse un Transformer, les informations issues des tokens voisins la modifient. La représentation du mot avocat dans avocat d’affaires, par exemple, évolue différemment de celle d’avocat dans avocat bien mûr, car le contexte environnant diffère.

Cette représentation contextuelle marque une rupture majeure avec les méthodes antérieures, où un mot conservait souvent une représentation fixe quel que soit l’endroit où il apparaissait.

3. Modéliser le contexte grâce à l’attention

Les Transformers utilisent l’auto-attention (self-attention) pour calculer les relations entre les tokens d’une séquence. Pour chaque token, le modèle attribue différents degrés de pertinence aux autres tokens lorsqu’il construit une représentation contextuelle.

Prenons la phrase suivante : l’associé a consulté son avocat avant de signer le contrat.

Les mots associé, consulté et contrat orientent fortement vers le sens juridique d’avocat. Dans une autre phrase, comme Elle a coupé l’avocat en deux pour la salade, des mots environnants totalement différents déterminent l’interprétation.

L’attention multitête (multi-head attention) effectue plusieurs séries de ces comparaisons en parallèle. Chaque tête d’attention peut capter des relations différentes au sein d’une même séquence, ce qui permet au réseau de représenter simultanément plusieurs aspects du contexte.

4. Affiner les représentations à travers les couches du Transformer

L’attention n’est qu’un des composants d’un bloc Transformer. Une fois que l’attention a combiné les informations contextuelles, d’autres opérations du réseau de neurones transforment les représentations obtenues. La répétition de ce processus sur de nombreuses couches produit des représentations de l’entrée de plus en plus riches.

Ces couches permettent aux modèles d’encoder des schémas liés à la syntaxe, à la sémantique, aux références entre des parties éloignées d’un texte et à d’autres relations difficiles à saisir à partir du seul ordre local des mots.

L’architecture utilisée pour traiter ces représentations varie selon les familles de modèles. Les modèles orientés encodeur construisent des représentations particulièrement adaptées à la classification et à la compréhension du langage. Les modèles décodeurs génèrent des séquences un token à la fois. Les modèles encodeur-décodeur représentent d’abord une séquence d’entrée, puis génèrent une séquence de sortie correspondante : une architecture associée de longue date à des tâches comme la traduction et le résumé.

5. Produire une sortie adaptée à la tâche

La suite dépend de l’application de NLP. Un classifieur peut convertir la représentation finale en probabilités réparties entre des catégories telles que positif, neutre et négatif. Un modèle d’extraction d’informations peut étiqueter certains segments de texte comme des noms, des organisations ou des dates. Un modèle génératif prédit une distribution de probabilités sur les tokens suivants possibles, puis y puise de manière répétée pour produire une séquence.

Dans de nombreux systèmes actuels, le modèle sous-jacent a d’abord été pré-entraîné sur un objectif linguistique beaucoup plus large avant d’être utilisé pour l’application visée. Les équipes fournissent ensuite des instructions sur la tâche, récupèrent un contexte externe, ajustent le modèle par fine-tuning ou combinent plusieurs de ces méthodes.

Ce processus de pré-entraînement puis d’adaptation est l’une des caractéristiques déterminantes du NLP moderne. Plutôt que d’apprendre le langage à partir de zéro pour chaque application, les systèmes réutilisent de plus en plus des représentations et des capacités acquises sur des corpus de texte beaucoup plus vastes.

Quote Icon

Plutôt que d'apprendre le langage à partir de zéro pour chaque application, les systèmes de NLP réutilisent de plus en plus des représentations et des capacités acquises sur des corpus de texte beaucoup plus vastes.

À quoi sert le NLP aujourd’hui ?

Une grande partie des informations que les entreprises manipulent au quotidien se présente sous forme de langage : documents, e-mails, échanges avec le support, rapports, descriptions de produits et articles de base de connaissances. Le NLP permet d’interpréter ces contenus par le calcul, qu’il s’agisse d’attribuer une étiquette, de trouver une information pertinente, d’extraire un fait ou de générer un nouveau texte.

Les frontières entre ces tâches sont également devenues moins rigides. Les systèmes plus anciens étaient souvent conçus autour d’une tâche unique. Avec les modèles pré-entraînés et les représentations linguistiques partagées, une même application peut récupérer des passages dans des documents, en extraire des informations et générer un résumé en réponse à la question d’un utilisateur.

Globalement, les applications du NLP se répartissent en quatre domaines :

Comprendre et classer le texte

Certaines des tâches de NLP les plus anciennes consistent à convertir du texte non structuré en catégories ou en informations structurées. La classification de texte attribue un texte à des catégories prédéfinies. Une organisation peut ainsi classer les demandes de support entrantes par thème, ou déterminer quels documents relèvent d’un domaine métier donné. La classification d’intention remplit une fonction proche : elle identifie ce que l’utilisateur cherche à accomplir à partir de la formulation de sa demande.

D’autres systèmes analysent le contenu même du texte. La reconnaissance d’entités nommées (Named Entity Recognition, NER) identifie des entités comme des personnes, des organisations, des produits ou des lieux dans un document. L’extraction d’informations tire d’un document des faits ou des relations. L’analyse des sentiments évalue les attitudes ou les opinions exprimées dans un texte.

Selon la complexité du langage et les exigences de l’application, les équipes peuvent recourir à un LLM ou à des approches spécialisées, des classifieurs statistiques aux modèles de fondation généralistes, en passant par les modèles Transformer spécialisés.

Rechercher des informations par le sens

La recherche par mots-clés fonctionne bien lorsque les utilisateurs connaissent la terminologie employée dans les informations qu’ils recherchent. Le langage se montre moins coopératif lorsque la formulation diffère. Une recherche portant sur les salariés ayant quitté l’entreprise, par exemple, risque de passer à côté de documents qui parlent systématiquement d’attrition du personnel. La recherche sémantique comble cet écart en représentant les requêtes et les documents selon leur sens. Les modèles d’embedding encodent le texte sous forme de vecteurs ; des calculs de similarité identifient ensuite les contenus dont les représentations sont proches, même lorsque la formulation diffère.

Ce même mécanisme sert à la découverte de documents, à la recommandation, au clustering et à la récupération d’informations pour les systèmes d’IA générative. Dans le cadre de la génération augmentée par récupération (Retrieval-Augmented Generation, RAG), par exemple, un système recherche d’abord les informations pertinentes pour une requête, puis les fournit comme contexte à un modèle génératif.

Transformer le langage et l’information

D’autres tâches de NLP convertissent le langage d’une forme à une autre. La traduction automatique en est un exemple : une séquence d’entrée dans une langue produit une séquence de sortie dans une autre. Le résumé automatique condense un long document ou un ensemble de documents tout en conservant les informations essentielles. L’extraction d’informations transforme un texte rédigé en champs structurés, tandis que les interfaces en langage naturel comme le text-to-SQL traduisent une question formulée en langage courant en une autre représentation que le logiciel peut exécuter.

Si les modèles génératifs ont considérablement élargi cette catégorie, transformer ne signifie pas forcément générer librement. La sortie attendue peut être un schéma très contraint, une phrase traduite ou un petit ensemble de valeurs extraites.

Générer du texte et interagir par le langage

Les LLM ont considérablement étendu le volet génératif du NLP. Les systèmes de questions-réponses, les assistants conversationnels et les interfaces en langage naturel permettent désormais des interactions qui s’étendent sur plusieurs échanges et plusieurs tâches, au lieu de suivre un ensemble fixe de commandes.

En entreprise, ces applications viennent fréquemment s’appuyer sur d’autres capacités de NLP. L’utilisateur pose une question en langage naturel ; le système interprète alors la demande, récupère les informations pertinentes, intègre un contexte structuré ou non structuré, puis génère une réponse. Ce qui apparaît à l’utilisateur comme une simple conversation peut mobiliser, en coulisses, plusieurs opérations distinctes de traitement du langage.

Tous les workflows de NLP ne commencent pas par du texte écrit. La reconnaissance vocale convertit le langage parlé en une représentation exploitable par les systèmes linguistiques en aval. Une application de centre d’appels, par exemple, peut transcrire une conversation avant d’appliquer au texte obtenu une classification d’intention, une extraction d’informations, une analyse des sentiments ou un résumé. 

Les chatbots NLP en sont l'exemple le plus visible : ils interprètent la demande, identifient l'intention et formulent une réponse, en s'appuyant de plus en plus sur un LLM et sur des sources de l'entreprise.

 

Comment concevoir un système de NLP moderne ?

Une fois la tâche définie, la question suivante relève de l’architecture : qu’attend le système de son modèle et de ses données ? Pour certaines applications, l’exigence principale est une représentation numérique exploitable du langage. D’autres ont besoin d’accéder à des informations absentes des données d’entraînement du modèle, de meilleures performances dans un domaine spécialisé ou d’un contrôle plus strict sur la façon dont le modèle répond. Les systèmes de NLP modernes combinent généralement plusieurs approches, souvent au sein d’une même application.

Représenter le sens sémantique grâce aux embeddings

Les embeddings représentent des informations sous forme de vecteurs, c’est-à-dire des suites ordonnées de nombres dont la position dans un espace à grande dimension reflète des relations apprises par un modèle. Pour le texte, les embeddings offrent un moyen de comparer le sens par le calcul. Les passages traitant de concepts similaires obtiennent généralement des représentations plus proches les unes des autres que celles de passages sans rapport, même lorsqu’ils ont relativement peu de mots en commun.

Les embeddings servent à de nombreuses charges de travail de NLP. La recherche sémantique les exploite pour associer les requêtes à des documents liés sur le plan conceptuel. Le regroupement (clustering) regroupe des textes similaires sans nécessiter de catégories prédéfinies. De même, les systèmes de recommandation et de déduplication s’appuient sur la similarité vectorielle pour identifier les relations entre différents contenus.

Notons que ces embeddings de texte se distinguent des représentations contextuelles de tokens abordées plus haut. Les modèles d’embedding dédiés produisent eux aussi des vecteurs, mais généralement à l’échelle d’une phrase, d’un passage ou d’un document. Ces vecteurs sont conçus pour des tâches comme la recherche sémantique, la récupération d’informations et la comparaison de similarité.

Récupérer l’information par recherche sémantique et vectorielle

Une fois le texte représenté sous forme de vecteurs, un système de récupération peut comparer ces représentations et localiser les contenus pertinents. La recherche lexicale traditionnelle et la récupération sémantique sont souvent complémentaires. Les termes exacts restent précieux, en particulier pour les noms, les identifiants, les codes d’erreur et la terminologie spécialisée. La similarité sémantique, quant à elle, s’avère utile lorsqu’une requête exprime une même idée avec des mots différents.

Les systèmes de récupération modernes combinent souvent plusieurs signaux plutôt que de s’appuyer sur une seule méthode. Une fonction de recherche peut par exemple utiliser la correspondance lexicale et la similarité vectorielle pour générer des candidats, appliquer des filtres de métadonnées ou des règles d’accès, puis reclasser les résultats avant de les transmettre à une application.

Pour les systèmes de NLP fondés sur les informations de l’entreprise, la qualité de la récupération fixe une limite importante à tout ce qui se passe en aval. Même un modèle de langage performant aura peu de chances de répondre correctement à partir d’informations propriétaires si la couche de récupération fournit un document hors sujet ou omet le passage qui contient la réponse.

Quote Icon

Pour les systèmes de NLP fondés sur les informations de l'entreprise, la qualité de la récupération fixe une limite importante à tout ce qui se passe en aval.

Notez qu’un contexte récupéré plus abondant n’améliore pas forcément le résultat. Le réglage de la récupération dépend fortement de la charge de travail. Lors de tests internes menés par Snowflake sur un jeu de données IT représentatif, la récupération d’un nombre réduit de segments (chunks) a parfois donné de meilleurs résultats que des fenêtres de contexte plus larges. Preuve que la profondeur de récupération optimale doit être évaluée au regard des données et du cas d’usage propres à chaque équipe.

Ancrer les modèles génératifs grâce à la RAG

Un modèle de langage pré-entraîné reflète les schémas appris pendant son entraînement. Ses données d’entraînement ne comprenaient pas de copie à jour et faisant autorité des documents internes d’une organisation, de ses transactions récentes ou de ses informations produits en constante évolution.

La génération augmentée par récupération intègre des informations externes au système et les place dans le contexte du modèle avant la génération. Le modèle produit alors sa réponse en ayant accès à ces contenus.

Cette approche est particulièrement utile lorsque les connaissances évoluent fréquemment ou résident dans des systèmes propriétaires. Mettre à jour la source sous-jacente suffit à rendre les informations les plus récentes disponibles pour la récupération, sans nouvelle phase d’entraînement du modèle.

La récupération ne garantit pas pour autant l’exactitude des réponses. Une récupération médiocre, des sources ambiguës, des documents contradictoires ou des défaillances lors de la génération restent possibles. C’est pourquoi les systèmes de RAG doivent être évalués sur les deux étapes : les bonnes informations ont-elles été récupérées, et le modèle les a-t-il utilisées correctement ?

PIÈGE COURANT

Une erreur courante consiste à penser que plus de contexte donne une meilleure réponse. Un contenu récupéré non pertinent ou mal classé peut empêcher le modèle génératif de repérer les informations qui comptent vraiment.

Adapter un modèle grâce au fine-tuning

Lorsqu’un problème tient au comportement du modèle ou à ses performances sur une tâche, plutôt qu’à l’accès à l’information, le fine-tuning offre une autre voie. Pendant le fine-tuning, un entraînement supplémentaire met à jour les poids d’un modèle pré-entraîné à l’aide d’exemples liés à un objectif plus ciblé. Selon la tâche, ce processus peut apprendre au modèle un schéma de classification spécialisé, renforcer un format de sortie particulier ou améliorer ses performances sur le langage propre à un domaine.

Le degré d’adaptation varie. Certaines méthodes mettent à jour tous les paramètres du modèle, tandis que les approches économes en paramètres (parameter-efficient) n’en modifient ou n’en ajoutent qu’un ensemble beaucoup plus restreint. L’ajustement aux instructions (instruction tuning), quant à lui, entraîne les modèles sur des exemples d’instructions et de réponses attendues afin qu’ils suivent plus efficacement de nouvelles demandes. Les techniques de post-entraînement fondées sur les préférences orientent davantage la façon dont les modèles choisissent parmi plusieurs réponses plausibles.

Ces méthodes fonctionnent différemment de la récupération. Le fine-tuning modifie le modèle lui-même. La RAG, elle, fournit des informations au moment de l’inférence. En pratique, une application peut combiner les deux : un modèle adapté à une tâche précise, et une récupération qui apporte les informations à jour nécessaires pour l’accomplir.

ASTUCE

Distinguez les problèmes de connaissances des problèmes de comportement. La récupération peut fournir des informations qui manquent au modèle ; le fine-tuning modifie la façon dont le modèle accomplit une tâche.

Orienter le comportement grâce aux prompts et au contexte

La forme d’adaptation la plus légère peut se passer de tout entraînement. Les instructions, les exemples et les informations contextuelles fournis lors d’un appel au modèle influencent la manière dont un modèle pré-entraîné interprète la tâche et structure sa sortie.

Avec des modèles suffisamment performants, cette approche permet aux équipes de tester et d’affiner une application avant de se lancer dans l’entraînement d’un modèle. En contrepartie, le comportement reste sensible aux informations placées dans le contexte, au modèle choisi et à la façon dont la tâche est formulée.

Choisir l’approche en fonction du besoin

Ces méthodes interviennent sur des parties différentes d’un système de NLP. Les considérer comme des alternatives concurrentes masque donc les véritables choix d’architecture.

Si l’application a besoin de représentations sémantiques, un modèle d’embedding les fournit. Si elle a besoin de connaissances externes pertinentes, la récupération et l’ancrage (grounding) apportent ces informations au moment de l’inférence. Lorsque le modèle lui-même doit gagner en spécialisation ou en performance sur une tâche, le fine-tuning permet de le modifier. Les prompts et les exemples contextuels offrent un niveau de contrôle supplémentaire sans modifier les poids du modèle.

Les contraintes de production réduisent ces options. La latence et le débit influencent la taille du modèle et la conception de la récupération, tandis que les exigences d’évaluation déterminent le degré de flexibilité qu’une application peut tolérer. La gouvernance détermine quels modèles ont accès à quelles données, et la complexité opérationnelle influe sur le nombre de composants qu’une équipe est prête à maintenir.

Autrement dit, à mesure que les systèmes de NLP modernes gagnent en capacités, leur architecture doit refléter le problème à résoudre, plutôt qu’une recette standard appliquée à toutes les tâches linguistiques.

Quote Icon

À mesure que les systèmes de NLP modernes gagnent en capacités, leur architecture doit refléter le problème à résoudre, plutôt qu'une recette standard appliquée à toutes les tâches linguistiques.

Histoire du NLP : des règles aux Transformers

Le traitement du langage naturel précède de plusieurs décennies le machine learning moderne. Tout au long de cette histoire, le problème central est resté obstinément le même : le langage humain véhicule du sens à travers le contexte, les conventions et l’ambiguïté, alors que les ordinateurs ont besoin de représentations qu’ils peuvent manipuler explicitement.

Ce qui a changé, c’est la part de cette structure que les ingénieurs devaient spécifier eux-mêmes.

Le NLP à base de règles

Les premiers systèmes de NLP reposaient largement sur des règles rédigées par des linguistes et des développeurs. Des dictionnaires, des schémas grammaticaux et des relations encodées manuellement indiquaient au logiciel comment reconnaître ou transformer certaines formes de langage.

Dans des domaines restreints, ces systèmes pouvaient se montrer très précis, mais leur passage à l’échelle était difficile. Le langage réel varie selon les locuteurs, les contextes et les domaines, et les exceptions s’accumulent rapidement.

Certains éléments du traitement à base de règles restent utiles, notamment lorsqu’une exigence est ciblée et explicite. Les expressions régulières, les dictionnaires et les règles d’analyse déterministes, par exemple, figurent toujours dans des pipelines de production où un comportement prévisible est préférable à l’inférence statistique.

Le NLP statistique

À partir de la fin du XXᵉ siècle, le NLP statistique a déplacé une plus grande part du travail des règles rédigées vers des schémas appris à partir de corpus de texte. Les représentations réduisaient les documents à des caractéristiques mesurables fondées sur les termes qu’ils contenaient. Les modèles de langage à n-grammes estimaient la probabilité des mots ou des caractères à partir des séquences qui les précédaient. Associées à des algorithmes de machine learning, ces représentations ont permis la classification, la recherche, la modélisation du langage et d’autres tâches de NLP à bien plus grande échelle.

Le prétraitement linguistique occupait souvent une place centrale dans le pipeline. La racinisation (stemming) et la lemmatisation ramenaient les mots à des formes communes ; l’étiquetage morphosyntaxique identifiait les rôles grammaticaux ; l’analyse en dépendances représentait les relations syntaxiques entre les mots.

Plusieurs de ces techniques sont encore utilisées aujourd’hui, notamment lorsque la simplicité, l’interprétabilité ou l’efficacité de calcul sont précieuses. Leurs limites apparaissent surtout lorsque le sens dépend fortement du contexte.

NLP neuronal

Les réseaux de neurones ont introduit des représentations apprises directement à partir des données, plutôt que conçues principalement sous forme de caractéristiques textuelles explicites. Des modèles comme word2vec et GloVe représentaient les mots sous forme de vecteurs denses, dont les relations géométriques capturaient certains aspects de la similarité sémantique. Au lieu de traiter médecin et docteur comme des entrées de vocabulaire sans lien, à moins que des règles ou des comptages ne les relient, les embeddings appris pouvaient les placer à proximité l’un de l’autre dans l’espace vectoriel.

Les réseaux de neurones récurrents (Recurrent Neural Networks, RNN), dont les réseaux à mémoire à long et court terme (Long Short-Term Memory, LSTM), ont renforcé la modélisation des séquences. En traitant les tokens dans l’ordre et en propageant l’information tout au long de la séquence, ils ont permis des applications comme la traduction, la reconnaissance vocale et la génération de langage.

Les séquences longues restaient toutefois difficiles à traiter. L’information devait franchir des étapes récurrentes successives, ce qui engendrait à la fois des contraintes de calcul et des difficultés à conserver les relations entre des parties éloignées d’un même passage.

Transformers

Introduit en 2017 dans l’article Attention Is All You Need, le transformeur a remplacé le traitement pas-à-pas des réseaux récurrents par l’attention, permettant au modèle d’évaluer plus directement les relations entre les tokens de toute une séquence. Ce changement a permis de paralléliser l’entraînement beaucoup plus efficacement et a doté les modèles d’un mécanisme plus robuste pour représenter le contexte à longue distance. Conjugués à l’augmentation de la puissance de calcul, à des jeux de données plus volumineux et aux progrès des méthodes d’entraînement, les Transformers ont donné naissance à des modèles de langage pré-entraînés toujours plus performants.

Les modèles pouvaient désormais apprendre d’abord des représentations linguistiques générales, puis transférer ces capacités à de nombreuses tâches en aval. BERT a démontré la puissance du pré-entraînement de grande ampleur d’un transformeur pour la compréhension du langage, tandis que les modèles à base de décodeurs ont poussé cette même architecture générale vers une génération toujours plus performante. Les modèles de fondation qui ont suivi ont élargi l’éventail des tâches qu’un seul système pré-entraîné pouvait traiter grâce aux instructions et aux exemples fournis dans le contexte.

Pour les praticiens, cette évolution a changé le point de départ habituel. Concevoir une application de NLP nécessite rarement de créer un modèle de langage de toutes pièces. Les modèles pré-entraînés, les modèles d’embedding et les services linguistiques fournissent des capacités réutilisables ; les équipes choisissent ensuite le degré de récupération, de prompting ou d’adaptation supplémentaire dont l’application a besoin.

Les techniques plus anciennes n’ont pas disparu pour autant. Leur rôle s’est simplement restreint à mesure que les modèles appris prenaient en charge des tâches linguistiques de plus en plus complexes, tandis que les méthodes plus simples conservaient leurs avantages pour les charges de travail où leur rapidité, leur transparence ou leur prévisibilité répondent au besoin.

Quels sont les défis du traitement du langage naturel ?

Les modèles Transformer ont considérablement amélioré les performances du NLP, mais bon nombre des problèmes les plus difficiles du domaine prennent leur source dans le langage lui-même. Le sens des mots change selon le contexte. Les locuteurs laissent des informations implicites. Différentes communautés expriment une même idée de manières différentes, et plusieurs réponses à une question peuvent toutes être raisonnables. Les systèmes génératifs ajoutent une difficulté supplémentaire : il est simple de confondre un texte fluide avec une réponse fiable.

Ambiguïté et contexte

Prenons une phrase simple : J’ai vu l’homme avec le télescope. Qui tient le télescope ? L’observateur s’en est peut-être servi pour voir l’homme, ou c’est l’homme qui le porte. La grammaire autorise ces deux lectures. Les lecteurs humains lèvent ce type d’ambiguïté grâce au contexte et à leur connaissance du monde, souvent sans même remarquer l’inférence. Les systèmes de NLP sont confrontés au même problème de fond, à une échelle considérable. Le sens varie selon la phrase environnante, la conversation précédente, la terminologie du domaine et des présupposés qui ne sont parfois jamais formulés par écrit.

Les Transformers ont nettement amélioré la modélisation du contexte, en particulier par rapport aux représentations qui traitent les mots de manière largement isolée. Malgré tout, un contexte supplémentaire ne suffit pas toujours à trancher. Il arrive que la source elle-même soit véritablement ambiguë.

Pour les applications en production, ce défi influe sur la conception du système. Un modèle ne doit pas fabriquer de certitude lorsque les informations disponibles autorisent plusieurs interprétations plausibles.

Diversité linguistique et sectorielle

Les ressources d’entraînement varient considérablement selon les langues, les dialectes et les domaines spécialisés. Un modèle très performant sur des textes généraux en anglais peut avoir du mal avec les abréviations cliniques, la terminologie juridique, la documentation technique ou une langue peu représentée dans ses données d’entraînement.

Même au sein d’une seule organisation, la terminologie évolue. Les noms de produits changent, les abréviations prennent des sens locaux et chaque équipe développe son propre vocabulaire. Les systèmes conçus sur le langage de l’entreprise doivent donc être évalués sur le langage qu’ils rencontreront réellement, plutôt que sur des hypothèses tirées de benchmarks généraux.

Évaluation

Pour les tâches dont la cible est unique et bien définie, l’évaluation du NLP peut être relativement simple. Un modèle de classification, par exemple, a attribué la bonne étiquette ou ne l’a pas fait.

Les tâches linguistiques ouvertes compliquent toutefois la donne. Deux résumés peuvent différer sensiblement tout en conservant tous deux les informations importantes, tandis qu’un système de questions-réponses peut produire une réponse factuellement exacte qui omet pourtant l’information dont l’utilisateur avait réellement besoin.

L’évaluation porte donc généralement sur plusieurs dimensions : exactitude factuelle, pertinence, exhaustivité, respect des instructions et exigences propres à la tâche. Les métriques automatisées sont utiles à grande échelle, mais le jugement humain ou l’évaluation par un modèle interviennent souvent lorsque la qualité d’une sortie ne peut se réduire à une seule réponse exacte.

L’évaluation ne se limite pas non plus au modèle. Dans une application fondée sur la récupération, les équipes doivent savoir si la bonne source a été récupérée, si le modèle l’a correctement interprétée et si la réponse finale satisfait aux exigences de l’application.

Hallucinations et ancrage

Les modèles de langage génératifs prédisent des suites plausibles à partir des informations dont ils disposent. Or, la plausibilité et l’appui sur des faits sont deux critères très différents.

Il peut en résulter une réponse assurée mais non étayée, une combinaison erronée de faits ou des informations vraisemblables qui comblent les lacunes des éléments disponibles. Dans les applications d’entreprise, où les utilisateurs attendent souvent des réponses fondées sur des données internes faisant autorité, ces erreurs ont des conséquences particulièrement lourdes.

L’ancrage (grounding) donne au modèle accès à des informations externes pertinentes au moment de l’inférence et fournit une base pour évaluer sa réponse au regard des sources. Les garde-fous, l’attribution des sources et une évaluation propre à l’application renforcent encore le contrôle.

Aucun de ces mécanismes ne remplace le test du système complet dans des conditions réalistes. Un modèle ancré peut toujours mal interpréter un passage récupéré, s’appuyer sur la mauvaise source ou tirer une conclusion que les éléments disponibles ne justifient pas.

Biais et équité

Les données linguistiques reflètent les personnes et les institutions qui les ont produites. Les stéréotypes historiques, une représentation inégale et les différences dans la manière dont certains groupes sont évoqués peuvent influencer les modèles entraînés sur ces données. Les performances globales mesurées par des benchmarks peuvent à elles seules masquer des écarts importants entre groupes démographiques, langues ou catégories d’entrées.

Cet effet varie selon l’application. Un biais dans un outil de brainstorming ne présente pas le même risque qu’un biais dans un système servant à classer des demandes clients, à évaluer des documents ou à éclairer des décisions concernant des personnes.

Découvrez comment les biais liés aux données s’introduisent dans les systèmes d’IA et comment les réduire >

Confidentialité et gouvernance

Les systèmes de NLP d’entreprise traitent souvent certaines des informations les plus sensibles d’une organisation : e-mails, contrats, transcriptions d’échanges avec le support, documents internes, données financières et autres textes non structurés.

Dès lors que des modèles, des services d’embedding et des couches de récupération entrent dans l’architecture, l’accès à ces informations doit respecter les mêmes exigences de gouvernance que partout ailleurs dans l’environnement de données. Quels utilisateurs peuvent récupérer un document ? Quel modèle est autorisé à le traiter ? Où les embeddings sont-ils stockés ? Quelles informations sont journalisées lors de l’inférence ?

Lorsque ces textes contiennent des données personnelles, le Règlement général sur la protection des données (RGPD) s'applique aussi aux embeddings, aux index de recherche et aux journaux d'inférence qui en sont dérivés.

Ces questions sont au cœur même de l’architecture NLP. Un système qui récupère des informations sémantiquement pertinentes sans préserver les contrôles d’accès du système source améliore certes la recherche, mais crée un problème de sécurité.

Le NLP appliqué aux données d'entreprise

Dans le NLP d’entreprise, les capacités du modèle ne sont qu’un élément du système. Le modèle doit aussi accéder aux bons documents, aux bonnes tables et aux bonnes données opérationnelles, avec les autorisations et la gouvernance qui leur sont associées.

Cette exigence façonne l’architecture autour de la récupération et de l’inférence. La recherche sémantique peut faire remonter des contenus non structurés pertinents, tandis que les données structurées apportent un contexte métier qui n’apparaît pas dans le texte lui-même. Les contrôles d’accès doivent néanmoins s’appliquer aux deux : une interface conversationnelle ne doit pas exposer des informations qu’un utilisateur ne pourrait pas récupérer via le système sous-jacent.

L’endroit où s’exécutent ces opérations influe aussi sur les mouvements de données. Générer des embeddings, stocker des vecteurs, récupérer des sources et les envoyer à des services de modèles distincts peut multiplier les copies et les surfaces de gouvernance. Rapprocher la récupération, le traitement par les modèles et les données gouvernées réduit ces transferts.

Le NLP sur Snowflake

Snowflake ML prend en charge les workflows de NLP, de l’inférence des modèles aux embeddings, en passant par la récupération et l’interaction en langage naturel. Les équipes peuvent ainsi travailler sur des données structurées et non structurées dans un même environnement gouverné.

Cortex AI donne accès à des modèles de langage et d’embedding pour des tâches telles que le résumé, l’extraction, la classification et la génération. Pour la récupération sémantique, les équipes peuvent générer des embeddings à partir de texte et les stocker aux côtés des données sources et des métadonnées associées.

Cortex Search ajoute une couche de récupération managée pour la recherche sémantique et les applications de RAG. Il combine la récupération vectorielle à la recherche par mots-clés, ce qui permet de conserver les correspondances exactes pour les noms, les codes et la terminologie spécialisée, tout en récupérant des contenus conceptuellement proches.

Pour les applications qui doivent interroger des données structurées en langage naturel, Cortex Analyst traduit les questions des utilisateurs en SQL à l’aide de modèles sémantiques qui apportent un contexte métier aux données sous-jacentes. Les applications NLP accèdent ainsi à des informations stockées dans des tables plutôt que dans des documents.

Ensemble, ces capacités s’inscrivent dans une approche plus large : modèles, récupération et données d’entreprise gouvernées fonctionnent au sein d’une même plateforme, plutôt qu’à travers un ensemble de services cloisonnés. Les équipes peuvent utiliser des modèles de langage là où ils sont pertinents, une récupération spécialisée là où elle est nécessaire, et les contrôles de gouvernance existants de Snowflake sur l’ensemble des données sous-jacentes.

À RETENIR

Les LLM ont élargi le champ des possibles des systèmes de NLP, mais ils n’ont pas rendu les autres approches obsolètes. Les systèmes modernes combinent souvent modèles spécialisés, embeddings, récupération et modèles génératifs selon les besoins de l’application.

Foire aux questions

Les réponses des experts Snowflake à vos questions les plus fréquentes sur le traitement du langage naturel.

Non. Le traitement du langage naturel désigne un domaine consacré au traitement informatique du langage humain, tandis que le machine learning désigne une famille de méthodes permettant d’apprendre des schémas à partir de données. Le machine learning alimente une grande partie du NLP moderne, notamment les classifieurs, les modèles d’embedding et les Transformers, mais le NLP existait bien avant que l’apprentissage automatique n’y joue un rôle dominant.

Non. Un système de NLP peut traiter le langage à l’aide de règles explicites, de dictionnaires et d’autres méthodes déterministes. Pour de nombreuses applications actuelles, l’apprentissage automatique offre toutefois une plus grande souplesse qu’un vaste ensemble de règles linguistiques rédigées à la main. Les modèles statistiques et neuronaux apprennent des schémas à partir d’exemples, ce qui les aide à gérer la variabilité et l’ambiguïté du langage réel.

Oui. Les grands modèles de langage ont élargi l’éventail des tâches linguistiques qu’un seul modèle pré-entraîné peut accomplir, mais ils n’ont pas éliminé les autres approches du NLP. Une tâche étroitement définie, comme la classification ou le routage, peut toujours être confiée à un modèle spécialisé, en particulier lorsque la charge de travail est volumineuse ou impose des exigences strictes de latence, de coût ou de régularité des sorties. De même, les règles et les méthodes déterministes restent utiles lorsque le comportement attendu est suffisamment ciblé et explicite.

Le traitement du langage naturel (Natural Language Processing, NLP) est la discipline globale consacrée au traitement informatique du langage humain. La compréhension du langage naturel (Natural Language Understanding, NLU) se concentre sur son interprétation et couvre des tâches telles que la détection d’intention, la classification et l’extraction d’informations. La génération de langage naturel (Natural Language Generation, NLG) se concentre sur la production de langage, notamment le résumé, la traduction et la génération de réponses. Ces trois catégories se recoupent dans de nombreuses applications modernes.

La pile de NLP moderne varie selon l’application. Parmi les composants courants figurent les modèles de langage pré-entraînés, les modèles d’embedding, les systèmes de recherche vectorielle et sémantique, les pipelines de récupération, les API de modèles, ainsi que des outils de fine-tuning, d’évaluation et de gouvernance. De plus en plus, les équipes combinent plusieurs de ces composants au lieu de choisir un outil de NLP autonome unique.

Parmi les usages courants figurent la classification des tickets de support, l'analyse des sentiments dans les avis clients, l'extraction d'informations dans les contrats et les factures, la recherche sémantique dans les bases documentaires, la transcription et le résumé des appels, ainsi que les assistants conversationnels qui répondent à partir des données de l'entreprise.

Explorez les ressources sur l’IA

Explorez les sujets liés à l’IA

Une analyse approfondie de chaque aspect de l’intelligence artificielle