RLHF : façonner le comportement des modèles d’IA grâce au feedback humain

Un modèle de langage peut savoir comment structurer certains types de réponses, qu’il s’agisse d’une réponse à un client, d’un résumé d’une politique d’entreprise ou de l’explication d’une requête SQL, sans pour autant disposer du discernement nécessaire pour produire un résultat réellement exploitable. Cette absence de jugement peut avoir de lourdes conséquences business. Un modèle qui rédige des contenus marketing, résume des contrats, assiste des analystes ou répond aux questions des collaborateurs opère dans un contexte où le ton, l’exactitude, la sécurité et les limites fixées par les politiques déterminent si l’on peut faire confiance à la sortie.

L’apprentissage par renforcement à partir du feedback humain (RLHF) est devenu l’une des techniques les plus importantes pour combler ce manque de jugement. Au lieu de s’appuyer uniquement sur la prédiction du token suivant ou sur des exemples supervisés, le RLHF introduit un signal de préférence : des humains comparent les sorties du modèle, ces comparaisons entraînent un modèle de récompense, puis le modèle de langage est optimisé pour produire des réponses qui obtiennent de meilleurs scores selon ce modèle appris de la préférence humaine.

Même s’il ne remplace pas la gouvernance, l’évaluation ou le monitoring, le RLHF donne aux développeurs de modèles un moyen d’entraîner des qualités difficiles à exprimer sous forme d’ensemble statique de règles, notamment l’innocuité, la pertinence et la capacité à suivre l’intention.

Le RLHF est une technique qui aligne les modèles de langage sur les préférences humaines. Dans un workflow type, les équipes partent d’un modèle de base pré-entraîné, l’optimisent à partir d’exemples illustrant le comportement attendu, entraînent un modèle de récompense sur des comparaisons réalisées par des évaluateurs humains, puis optimisent le modèle de langage afin qu’il produise des réponses maximisant le score attribué par ce modèle de récompense.

Le RLHF s'appuie sur une première étape d’affinage supervisé (supervised fine-tuning), au cours de laquelle le modèle apprend à reproduire des exemples du comportement attendu. Il introduit un signal de préférence, qui permet au modèle d'apprendre quelle réponse les évaluateurs humains jugent préférable lorsque plusieurs réponses sont techniquement possibles. Par exemple, deux sorties peuvent toutes deux répondre à une question sur la politique d’avantages sociaux, mais l’une peut citer la bonne limite fixée par la politique, éviter toute surinterprétation juridique et indiquer au collaborateur où confirmer son éligibilité, tandis que l’autre ne le fait pas. Cette préférence ne porte pas seulement sur le contenu factuel : elle reflète un jugement sur ce qu’une réponse utile doit accomplir.

Les travaux d’OpenAI de 2022 sur InstructGPT constituent la référence standard du RLHF dans les modèles de langage modernes. Les chercheurs ont montré que l’affinage avec feedback humain pouvait mieux aligner les modèles sur l’intention utilisateur, notamment en réduisant les sorties inexactes, toxiques ou inutiles.

Le RLHF appliqué aux modèles de langage se distingue de l’apprentissage par renforcement standard sur un point essentiel. Dans un jeu ou une simulation, l’environnement peut souvent fournir une récompense directe : l’agent gagne, perd, atteint une cible ou marque des points. Dans le RLHF appliqué aux modèles de langage, l’environnement correspond au jugement humain, et la récompense n’est pas un score de vérité terrain, mais une approximation apprise de ce que les humains préfèrent, entraînée à partir de données de comparaison.

Le RLHF est puissant, mais il reste imparfait. Le modèle de récompense ne sait pas, dans l’absolu, ce que veulent les humains. Il ne peut apprendre que les schémas présents dans les données de préférence qu’il reçoit ; la qualité, la diversité et l’homogénéité de ces données façonnent donc le comportement appris par le modèle final.

Un pipeline RLHF comporte généralement trois étapes : l’affinage supervisé, l’entraînement du modèle de récompense et l’optimisation de la stratégie d’apprentissage par renforcement. Chaque étape ajoute un type de signal différent, qui fait évoluer le modèle d’une capacité linguistique générale vers un comportement reflétant mieux l’intention humaine.

Étape 1 : Affinage supervisé

Le pipeline commence généralement par un modèle de base préentraîné. Ce modèle de base a appris de grands schémas linguistiques à partir de vastes corpus d’entraînement, mais il n’a pas nécessairement appris à se comporter comme un assistant capable de suivre des instructions dans un contexte précis.

L’affinage supervisé (SFT, pour supervised fine-tuning) fournit au modèle des données de démonstration : des prompts associés à des réponses de grande qualité, rédigées par des humains. Ces exemples montrent au modèle la forme que doit prendre le comportement recherché. Cette étape crée un premier modèle capable de suivre des instructions, mais elle ne résout pas encore le problème des préférences : les démonstrations montrent à quoi peut ressembler une bonne sortie, sans apprendre directement au modèle à choisir entre plusieurs réponses acceptables lorsque l’une est plus utile, plus sûre ou mieux alignée sur l’intention de l’utilisateur.

Étape 2 : Entraînement du modèle de récompense

La deuxième étape introduit des données de comparaison. Des annotateurs humains examinent plusieurs sorties du modèle pour un même prompt et les classent de la meilleure à la moins bonne, ou choisissent la réponse qu’ils préfèrent entre deux possibilités. Ces classements deviennent des données d’entraînement pour un modèle de récompense, qui apprend à prédire quelle sortie un humain préférerait.

C’est le mécanisme clé du RLHF. Au lieu de demander aux humains de rédiger chaque réponse idéale, le pipeline leur demande d’exprimer une préférence entre plusieurs réponses proposées. Il devient ainsi possible d’entraîner un modèle sur des jugements plus nuancés : quelle réponse est plus directe, laquelle gère mieux l’incertitude, laquelle est trop évasive, laquelle contient des affirmations non étayées et laquelle correspond le mieux au ton attendu.

Le modèle de récompense est généralement un modèle de langage modifié qui prend un prompt et une réponse en entrée, puis renvoie un score. Ce score devient un proxy de la préférence humaine pendant l’étape suivante de l’entraînement.

Étape 3 : Optimisation des politiques RL

À la troisième étape, le modèle SFT devient la politique à optimiser. Le modèle génère des réponses, le modèle de récompense les note et un algorithme d’apprentissage par renforcement, comme l’optimisation de politique proximale (proximal policy optimization, PPO), met à jour le modèle de langage afin qu’il produise des sorties obtenant des scores de récompense plus élevés.

À ce stade, le système peut devenir instable s’il n’est pas soigneusement encadré. Si le modèle cherche à s’optimiser trop agressivement selon le modèle de récompense, il peut découvrir des sorties qui obtiennent de bons scores sans devenir réellement plus utile. C’est le reward hacking : le modèle exploite les faiblesses du modèle de récompense au lieu d’améliorer le comportement sous-jacent, on l’appelle parfois détournement de la fonction de récompense, ou optimisation abusive de la récompense.

Pour réduire ce risque, les pipelines RLHF intègrent souvent une pénalité de divergence de Kullback-Leibler (KL), qui décourage le modèle optimisé de trop s’éloigner du modèle optimisé par affinage supervisé. Concrètement, la pénalité KL empêche le modèle de trop changer lorsqu’il cherche à maximiser la récompense, ce qui contribue à préserver la qualité linguistique et le comportement de suivi des instructions appris pendant le SFT.

De nombreux systèmes RLHF fonctionnent aussi de manière itérative. De nouvelles sorties du modèle révèlent de nouveaux modes de défaillance, les évaluateurs humains produisent des données de préférence supplémentaires, le modèle de récompense est mis à jour et la politique est de nouveau optimisée. Le pipeline ressemble moins à une recette d’entraînement ponctuelle qu’à une boucle de feedback destinée à façonner le comportement.

Le RLHF s’est imposé parce qu’il a donné aux développeurs de modèles un moyen opérationnel d’entraîner les modèles selon les préférences humaines, mais cette méthode apporte aussi son lot de défis opérationnels et de gouvernance. Le signal ne vaut que par la qualité des données de comparaison, le modèle de récompense peut s’éloigner du comportement réellement attendu et l’optimisation par apprentissage par renforcement peut être difficile à exécuter de manière fiable.

Qualité des données de préférence

Les données de préférence semblent simples à première vue, jusqu’à ce que les équipes doivent définir qui est responsable de la fourniture de cette préférence et quelle norme appliquer. Les annotateurs peuvent ne pas s’accorder sur le caractère plus utile, plus prudent ou plus adapté d’une réponse dans un contexte donné. Les présupposés culturels peuvent aussi influencer les étiquettes, en particulier lorsque les prompts portent sur le ton, la sécurité, des conseils médicaux, des décisions financières ou d’autres sujets à fort enjeu.

Les systèmes d’IA d’entreprise ajoutent une couche de complexité. Un modèle utilisé pour l’assistance RH interne, des workflows de secteurs d’activité réglementés ou un service en contact avec les clients peut nécessiter des données de préférence fournies par des personnes qui comprennent le domaine, et pas seulement par des annotateurs généralistes. Cela peut faire grimper les coûts et nécessiter une coordination plus poussée, car les viviers d’experts métier sont plus difficiles à mettre en place que des équipes d’étiquetage généralistes.

Limites du modèle de récompense

Le modèle de récompense n'est qu'une approximation apprise à partir des données d'entraînement, et non une référence absolue. Il peut devenir moins fiable lorsque la politique optimisée commence à produire des réponses différentes de celles qu'il a apprises à évaluer pendant son entraînement. Ce décalage de distribution signifie que le modèle de récompense peut devoir noter des réponses dans des domaines où son propre signal d’entraînement est faible.

Le reward hacking constitue une autre limite. Si le modèle apprend des schémas que le modèle de récompense survalorise, il peut produire des réponses qui semblent préférables au regard du score, sans être réellement meilleures pour les utilisateurs. Par exemple, il peut apprendre à ajouter des explications au ton assuré, à nuancer à l’excès ou à reproduire des schémas superficiels que les annotateurs ont déjà récompensés.

Instabilité de l’entraînement

L’étape d’apprentissage par renforcement peut aussi être difficile à régler. Les pipelines RLHF basés sur PPO comportent de nombreux composants interdépendants : le modèle de politique, le modèle de récompense, le modèle de référence, la contrainte KL, la stratégie d’échantillonnage, le taux d’apprentissage, les tailles de batch et d’autres hyperparamètres. Le pipeline RLHF traditionnel est plus complexe que l’apprentissage supervisé, car il peut nécessiter l’entraînement de plusieurs modèles de langage, l’échantillonnage à partir de la politique pendant l’entraînement et entraîner des coûts de calcul importants.

Pour les équipes d’entreprise, cette complexité peut peser lourd, car le travail d’alignement doit s’intégrer dans un cycle de vie de modèle plus large. Les données de préférence exigent une gouvernance. Les tâches d’entraînement doivent être reproductibles. Les versions de modèle exigent une traçabilité. L’évaluation doit montrer si le modèle aligné a réellement amélioré les comportements qui comptent pour le Workload.

Optimisation directe des préférences

L’optimisation directe des préférences (DPO) est l’une des alternatives les plus utiles au RLHF. Au lieu d’entraîner un modèle de récompense distinct puis d’exécuter un apprentissage par renforcement, la DPO optimise directement le modèle de langage à l’aide de paires de préférences. La DPO permet d’optimiser le même objectif de récompense contraint via un processus d’entraînement plus simple, de type classification, sans modélisation explicite de la récompense ni RL.

C’est cette simplicité qui fait sa force. La DPO peut réduire la complexité opérationnelle du RLHF en supprimant le modèle de récompense distinct et la boucle d’entraînement PPO, ce qui peut rendre le réglage des préférences plus stable et plus simple à mettre en œuvre. Cela ne supprime pas la nécessité de disposer de données de préférence solides, mais change la manière dont ces données sont utilisées.

IA constitutionnelle et RLAIF

L’IA constitutionnelle (Constitutional AI, CAI) et l’apprentissage par renforcement à partir du feedback d’IA (reinforcement learning from AI feedback, RLAIF) répondent à un autre défi de mise à l’échelle : le feedback humain coûte cher, surtout lorsque le modèle doit être évalué sur de nombreux prompts nuisibles, ambigus ou relevant de cas limites. L’IA constitutionnelle a été développée par Anthropic. Elle utilise un ensemble de principes écrits pour guider l’auto-critique et la révision par l’IA, ce qui réduit la dépendance à l’étiquetage humain pour les sorties nuisibles.

Le RLAIF prolonge cette approche en utilisant des LLM comme juges pour fournir du feedback à la place des annotateurs humains, ou en complément de ceux-ci. Cela peut réduire les coûts d’étiquetage et faciliter la mise à l’échelle, mais soulève aussi une question centrale d’alignement : si le feedback généré par l’IA remplace les données de préférence humaines, les équipes doivent comprendre quelles valeurs, quelles politiques et quels modes de défaillance sont renforcés.

Pour les équipes d’entreprise, le RLHF et la DPO ne sont pas seulement des méthodes d’entraînement de modèles. Elles posent aussi un enjeu de gestion des données. Paires de préférences, décisions des annotateurs, versions de prompts, sorties du modèle de récompense, cycles d’entraînement et versions de modèles alignés deviennent autant d’artefacts à gouverner, tracer et examiner.

Snowflake ML fournit des fonctionnalités qui prennent en charge des workflows ML de bout en bout sur des données gouvernées, notamment la préparation des données, l’entraînement de modèles, les expérimentations, les pipelines, le déploiement et la surveillance. C’est précieux pour le RLHF et la DPO, car les données de préférence elles-mêmes peuvent être sensibles ou réglementées. Les classements des annotateurs peuvent inclure des prompts, des réponses générées, des notes de relecteurs, des décisions de politique et des exemples de comportements indésirables du modèle. Gérer ces données dans Snowflake peut aider les équipes à appliquer les mêmes modèles de gouvernance que pour leurs autres actifs de données d’entreprise, notamment les contrôles d’accès, l’auditabilité et la traçabilité.

Le Snowflake Container Runtime dédié au ML peut prendre en charge pour le ML des charges de travail personnalisées, notamment l’entraînement de modèles, le réglage d’hyperparamètres, l’inférence batch et l’affinage, à l’aide de pools de calcul CPU ou GPU. Pour les workflows RLHF ou DPO, cet environnement peut prendre en charge du code d’entraînement personnalisé et des frameworks ML open source, tout en maintenant le processus d’entraînement au plus près des données gouvernées.

Le Snowflake Model Registry peut ensuite aider les équipes à gérer les artefacts de modèle produits par RLHF et DPO. Un workflow d’alignement complet peut inclure le modèle de base d’origine, le modèle optimisé par affinage supervisé, un ou plusieurs modèles de récompense, des variantes optimisées par DPO et les modèles de politique finaux sélectionnés pour le déploiement. Le Snowflake Model Registry est conçu pour gérer les modèles et les métadonnées en toute sécurité.

La traçabilité est particulièrement importante dans ce contexte. Snowflake ML Lineage peut tracer les relations entre les tables sources, les vues de feature, les jeux de données, les modèles enregistrés et les services de modèle déployés, afin d’aider les équipes à répondre à des questions comme : d’où viennent les données d’entraînement et quels services utilisent un modèle. Ce niveau de visibilité permet aux équipes de remonter d'un modèle aligné jusqu'aux données de préférences, au modèle de récompense et au cycle d'entraînement qui ont contribué à façonner son comportement.

La RLHF a changé la trajectoire de l’IA générative car elle a permis aux développeurs de modèles de s’entraîner à des préférences difficiles à coder sous forme de règles. Il a fait évoluer les modèles de langage : de simples systèmes capables de générer un texte fluide, ils sont devenus des systèmes capables de suivre des instructions, de répondre de manière plus utile et de mieux refléter les attentes humaines en matière de conversation.

Mais le RLHF montre aussi pourquoi l’alignement ne se résume pas à une seule étape d’entraînement. Une étiquette de préférence reflète un jugement, et un modèle de récompense approxime ce jugement. Une exécution d’optimisation de politique pousse le modèle vers cette approximation. Chaque couche peut améliorer le modèle, mais elle génère aussi des preuves qui doivent être gouvernées : qui a étiqueté les données, quels critères ont été utilisés, quelle version du modèle a été entraînée, comment le modèle de récompense s’est comporté et si la politique finale s’est réellement améliorée lors de l’évaluation.

Pour les entreprises, le modèle aligné n’est qu’un des résultats du pipeline RLHF. L’autre est l’enregistrement de la manière dont une préférence humaine est devenue un comportement de modèle, et de la capacité de l’organisation à inspecter, reproduire et gouverner ce chemin lorsque le modèle passe en production.