La gestion des risques liés à l’IA expliquée

La gestion des risques liés à l’IA commence par une question très concrète : qu’est-ce qui pourrait mal tourner lorsqu’un modèle, un pipeline de données, une application, un prompt, un workflow ou une décision humaine s’appuie sur l’IA ? La réponse se limite rarement à l’exactitude du modèle. Un système peut utiliser des données obsolètes, exposer des champs sensibles via la récupération, générer une réponse plausible mais erronée, dériver après son déploiement ou produire une décision difficile à expliquer lorsqu’une autorité de régulation demande des preuves.

Parce que ces risques couvrent un champ très large, la gestion des risques liés à l’IA concerne désormais tout le cycle de vie. Elle offre aux organisations un cadre structuré pour comprendre où les systèmes d’IA peuvent causer des préjudices, déterminer quels risques sont acceptables et appliquer des contrôles qui maintiennent ces risques dans des limites définies. Elle aide également les équipes à déterminer le niveau de risque résiduel acceptable, les contrôles nécessaires avant la mise en production et la surveillance à maintenir une fois le système entre les mains des utilisateurs.

La gestion des risques liés à l’IA consiste à identifier, évaluer, atténuer et surveiller les risques des systèmes d’IA sur l’ensemble du cycle de vie de l’IA, du développement au déploiement, jusqu’à la production. Elle couvre le modèle, mais aussi les données qu’il utilise, le contexte de l’application dans lequel il s’exécute, les personnes touchées par ses résultats, les politiques qui gouvernent son utilisation et les preuves nécessaires pour démontrer que les contrôles ont été appliqués.

La gestion des risques liés à l’IA va donc au-delà de la gestion des risques liés aux modèles. La gestion des risques liés aux modèles, notamment dans la banque et d’autres environnements financiers réglementés, se concentre sur le risque qu’un modèle produise des résultats incorrects, mal utilisés ou mal compris. La gestion des risques liés à l’IA couvre cet enjeu, mais prend aussi en compte tout le système autour du modèle : provenance des données d’entraînement, contexte de récupération, contrôles d’accès, interaction utilisateur, comportement du prompt, impact sur les workflows en aval, réponse aux incidents et surveillance après déploiement.

En pratique, un programme de gestion des risques liés à l’IA doit répondre à des questions opérationnelles telles que :

• Quels jeux de données ont été utilisés pour entraîner, tester ou ancrer le système ?

• Qui est responsable du cas d’usage, du modèle et du processus business concerné ?

• Quels risques ont été identifiés pendant le développement, les tests et le déploiement ?

• Quels contrôles réduisent ces risques, et quel risque résiduel subsiste ?

• Comment l’organisation détectera-t-elle la dérive, les usages abusifs, les événements de sécurité ou les résultats dommageables après la mise en production ?

Ces réponses transforment le risque lié à l’IA, d’une préoccupation abstraite en un ensemble de décisions, de contrôles et de pistes d’audit vérifiables.

Les systèmes d’IA créent des risques que les programmes traditionnels de gestion des risques d’entreprise ne sont pas conçus pour évaluer seuls. Une application fondée sur des règles se comporte généralement de la même façon lorsqu’elle reçoit la même entrée. Les systèmes d’IA, en particulier les systèmes d’IA générative, peuvent être non déterministes : un même prompt peut produire des réponses différentes, et le comportement du système peut évoluer à mesure que les modèles, les données, les prompts ou le contexte de récupération changent.

Le risque se joue aussi à plusieurs niveaux. Un modèle peut être techniquement solide et pourtant causer des dommages s’il est entraîné sur des données biaisées, connecté à des enregistrements sensibles sans contrôles d’accès appropriés, utilisé hors de son objectif prévu ou déployé dans un workflow où les utilisateurs se fient excessivement à ses résultats. Un modèle de fraude, par exemple, peut afficher de bonnes performances lors de la validation, puis se dégrader lorsque les schémas de transaction évoluent. Une application augmentée par récupération peut aussi exposer des informations restreintes si sa logique d’accès ne s’aligne pas sur les autorisations de l’utilisateur.

Le risque lié à l’IA évolue également après le déploiement. La dérive des données, les entrées adversariales, l’injection de prompt, l’évolution des réglementations, les mises à jour des prestataires et les nouveaux schémas d’utilisation peuvent modifier le profil de risque d’un système qui avait passé son examen initial. C’est pourquoi la gestion des risques liés à l’IA ne peut pas s’arrêter à la validation. Elle nécessite une surveillance, des circuits d’escalade, des déclencheurs de réentraînement, un signalement des incidents et des critères de mise hors service.

Les catégories de risques liés à l’IA aident à distinguer la source d’un risque du symptôme qu’il produit. Les catégories ci-dessous donnent aux équipes un moyen de rattacher ces risques au bon contrôle, au bon responsable et au bon processus d’examen.

Risque technique et de performance

Le risque technique couvre l’exactitude, l’efficacité, la fiabilité, les hallucinations, la dérive du modèle et la disponibilité du système. Dans l’IA générative, la défaillance la plus visible peut être une hallucination, mais la cause sous-jacente peut être un contexte de récupération insuffisant, une mauvaise provenance des données, l’absence de garde-fous ou un workflow qui envoie à un client une réponse générée par l’IA sans vérification. La gestion des risques dépend de la capacité de l’organisation à tester le système par rapport à son usage prévu, à définir des seuils de performance acceptables et à détecter le moment où les sorties ne respectent plus ces seuils.

Risque lié aux données

Le risque lié aux données couvre l’empoisonnement des données, les fuites, les lacunes en matière de consentement, les problèmes de provenance, les problèmes de qualité et les biais dans les données d’entraînement. Un modèle entraîné ou ancré sur des données mal documentées peut hériter d’erreurs difficiles à retracer par la suite. Pour les systèmes d’IA qui s’appuient sur les données d’entreprise, la traçabilité des données, la classification, l’historique des accès et les contrôles de qualité des données font partie intégrante de la gestion des risques, plutôt que de relever d’une gouvernance de fond.

Risque de sécurité

Le risque de sécurité lié à l’IA couvre l’injection de prompt, l’inversion de modèle, l’inférence d’appartenance, le vol de modèle, l’exfiltration de données et la manipulation adversariale. Les risques de sécurité liés à l’IA sont à fort enjeu, car les systèmes d’IA se situent souvent entre les utilisateurs et des données sensibles, des outils ou des workflows. Un prompt compromis ou un contexte manipulé peuvent influencer non seulement la réponse générée par un modèle, mais aussi l’action qu’une application optimisée par l’IA tente d’exécuter.

Risque éthique et risque d’équité

Le risque d’équité, considéré sous l’angle de l’éthique de l’IA, peut inclure des résultats discriminatoires, des atteintes à la dignité, un manque de transparence et des défaillances de la supervision humaine. Ces risques apparaissent souvent au point de rencontre entre systèmes techniques et personnes : présélection à l’embauche, décision de crédit, recommandation de soins ou outil de productivité des collaborateurs. Pour gérer efficacement le risque d’équité, il faut définir clairement les populations concernées, l’usage prévu, les droits de réexamen et les circuits d’escalade.

Risque juridique et réglementaire

Le risque juridique et réglementaire couvre la non-conformité aux lois propres à l’IA, les atteintes à la vie privée, les enjeux de propriété intellectuelle et une documentation insuffisante. Le règlement européen sur l’IA, par exemple, impose aux fournisseurs de systèmes d’IA à haut risque d’établir, de mettre en œuvre, de documenter et de maintenir un système de gestion des risques. Il décrit ce système comme un processus continu et itératif sur l’ensemble du cycle de vie du système d’IA. La conformité en matière d’IA est une composante clé de la gestion des risques.

Risque opérationnel

Le risque opérationnel couvre la dépendance à un prestataire, les dépassements de coûts, les responsabilités floues, une réponse aux incidents insuffisante et des dépendances non gérées. Une équipe peut déployer une application d’IA utile, mais peiner à l’exploiter si personne n’est responsable de la surveillance, de la gestion des exceptions, des mises à jour du modèle, des revues d’accès ou des décisions de retrait.

Risque réputationnel

Le risque réputationnel couvre les incidents publics, les réactions négatives des utilisateurs et l’attention des autorités de régulation. Ces risques sont souvent les effets en aval d’autres défaillances, comme des résultats biaisés, des contenus dangereux, des données exposées, des décisions inexpliquées ou un écart visible entre les engagements d’une organisation et ce que son système d’IA a réellement fait.

Risque sociétal

Le risque sociétal couvre le déplacement de la main-d’œuvre, les atteintes à la démocratie, la concentration du pouvoir et des effets systémiques plus larges. Toutes les organisations n’évalueront pas ces risques de la même façon, mais les programmes matures de gestion des risques liés à l’IA examinent si l’impact d’un système dépasse les utilisateurs immédiats et les résultats économiques directs.

Le framework de gestion des risques liés à l’IA du NIST (AI RMF) est un framework facultatif conçu pour aider les organisations à gérer les risques que les systèmes d’IA peuvent créer pour les individus, les organisations et la société. Le NIST décrit ce framework comme un moyen d’intégrer les critères de fiabilité dans la conception, le développement, l’utilisation et l’évaluation des produits, services et systèmes d’IA. Le NIST a également publié un profil d’IA générative pour l’AI RMF en juillet 2024. Ce profil complète le framework pour appliquer l’AI RMF aux risques nouveaux ou amplifiés par l’IA générative.

L’AI RMF s’articule autour de quatre fonctions clés : Gouverner, Cartographier, Mesurer et Gérer. Le NIST souligne que ces fonctions ne constituent ni une simple checklist ni une séquence figée. Elles sont conçues pour s’appliquer de façon itérative tout au long du cycle de vie de l’IA, la gouvernance guidant les autres fonctions à chaque étape.

Gouverner

La fonction Gouverner établit les fondations organisationnelles de la gestion des risques liés à l’IA. Elle couvre la responsabilité, les politiques, les rôles, la formation, la culture du risque et la supervision. Concrètement, il s’agit de définir qui peut approuver un cas d’usage d’IA, qui est responsable du modèle ou de l’application, quelles politiques s’appliquent et comment les décisions de risque sont documentées.

Cartographier

La fonction Cartographier identifie le contexte dans lequel un système d’IA va fonctionner. Les équipes définissent l’usage prévu, les usages hors périmètre, les parties prenantes concernées, l’environnement de déploiement et l’impact sur les processus business. Un même modèle peut présenter des risques différents selon l’endroit où il est utilisé. Par exemple, un modèle de synthèse appliqué à une documentation produit publique n’a pas le même profil de risque qu’un modèle utilisé sur des notes cliniques ou des contrats juridiques.

Mesurer

La fonction Mesurer évalue les risques au regard de caractéristiques de fiabilité telles que la validité, la fiabilité, l’efficacité, la sûreté, la sécurité, la résilience, l’explicabilité, la confidentialité et l’équité. La mesure peut inclure des tests quantitatifs, des revues qualitatives, des exercices de red teaming, des audits des biais, des évaluations de la confidentialité et des tests adversariaux.

Gérer

La fonction Gérer hiérarchise les risques, alloue les ressources, applique les mesures d’atténuation, surveille les contrôles et communique les décisions de risque. C’est là que l’évaluation des risques passe à l’action : approuver un cas d’usage sous conditions, ajouter une étape de revue humaine, limiter les accès, modifier le schéma de déploiement, accepter un risque résiduel ou décider de ne pas poursuivre.

La gestion des risques liés à l’IA fonctionne mieux lorsqu’elle est intégrée au cycle de vie, plutôt qu’ajoutée à la fin. Cette vision du cycle de vie aide les équipes à détecter les différents risques au moment où elles peuvent encore les réduire, les tester ou les escalader.

Avant le développement

Avant qu’une équipe n’entraîne, n’ajuste ou ne connecte un modèle, elle doit valider le cas d’usage. Cela implique de définir l’objectif stratégique, d’identifier les utilisateurs concernés, d’attribuer un niveau de risque, de confirmer que l’IA est appropriée et de réaliser une vérification de l’éthique de l’IA ou une étude d’impact de l’IA si nécessaire. Un assistant de productivité interne à faible risque peut nécessiter une revue allégée, tandis qu’un système qui affecte le crédit, l’emploi, la santé ou les services publics peut exiger une étude d’impact formelle et une validation de la direction.

Développement

Pendant le développement, la gestion des risques se concentre sur la traçabilité des données, la qualité des données, les contrôles de confidentialité, les audits des biais et la documentation. Les équipes doivent savoir d’où proviennent les données d’entraînement, de test et de validation, quelles transformations ont été appliquées, si des champs sensibles sont présents et si le jeu de données est représentatif de l’usage prévu.

La documentation du modèle doit consigner les choix de conception, les hypothèses, les limites, les résultats d’évaluation et les risques connus. Ces preuves deviennent essentielles lorsque les équipes doivent ensuite expliquer pourquoi un système a été approuvé ou pourquoi une version du modèle a changé.

Avant le déploiement

Avant la mise en production, les équipes doivent tester le système dans des conditions proches de l’usage en production. Cela peut inclure le red teaming, les tests adversariaux, la revue de l’explicabilité, la revue de sécurité, la revue de confidentialité et des points de validation formels. Pour les systèmes d’IA générative, les tests doivent inclure des prompts qui tentent de produire du contenu dangereux, d’exposer des données sensibles, de contourner les instructions ou de déclencher un comportement hors périmètre.

L’objectif n’est pas de prouver qu’aucune défaillance n’est possible, mais de comprendre les modes de défaillance probables, d’appliquer des mesures d’atténuation ciblées et de décider si le risque restant est acceptable.

Déploiement

Les contrôles de déploiement contribuent à réduire les risques lorsque le système entre en service. Une équipe peut utiliser un déploiement progressif (éventuellement de type canary), un groupe d’utilisateurs limité, une exigence de supervision humaine, une politique de journalisation ou un schéma d’accès restreint. Ces contrôles permettent aux organisations d’observer le comportement du système avant d’en étendre l’usage.

Pour les systèmes à haut risque, le déploiement doit également prévoir un circuit d’escalade clair. Les utilisateurs doivent savoir quand faire confiance au système, quand passer outre et comment signaler un comportement inattendu.

Après le déploiement

La gestion des risques liés à l’IA se poursuit après le lancement. Les équipes doivent surveiller la dérive, la dégradation des performances, les schémas d’utilisation inhabituels, les événements de sécurité, les réclamations des utilisateurs et les évolutions réglementaires. Elles doivent également définir les déclencheurs de réentraînement, les exigences de signalement des incidents et les critères de mise hors service.

La surveillance après déploiement est particulièrement importante, car les systèmes d’IA peuvent ne pas échouer immédiatement, mais de manière progressive. Un modèle peut rester disponible et réactif alors même que la pertinence ou l’exactitude de ses réponses se dégrade, que ses données d’entrée changent ou que ses sorties s’éloignent du cas d’usage initial.

Le NIST AI RMF est largement cité, mais ce n’est pas le seul framework utilisé par les organisations.

• ISO/IEC 23894 fournit des recommandations aux organisations qui développent, produisent, déploient ou utilisent des produits, systèmes et services intégrant l’IA afin de gérer les risques liés à l’IA. L’ISO décrit cette norme comme des recommandations pour intégrer la gestion des risques aux activités et fonctions liées à l’IA.

• ISO/IEC 42001 est une norme certifiable relative aux systèmes de management de l’IA. L’ISO la décrit comme une norme permettant d’établir, de mettre en œuvre, de maintenir et d’améliorer en continu un système de management de l’IA, en tenant compte des risques et des opportunités associés à l’IA.

• Le règlement européen sur l’IA crée des obligations juridiques pour certains systèmes d’IA, en particulier les systèmes d’IA à haut risque. Ses dispositions en matière de gestion des risques imposent un examen continu, l’identification et l’évaluation des risques, des mesures d’atténuation, des tests et l’évaluation du risque résiduel.

• Les organisations bancaires et de services financiers peuvent également s’appuyer sur des orientations relatives au risque de modèle, comme SR 11-7 et OCC 2011-12, dont le périmètre est plus restreint que la gestion des risques liés à l’IA, mais qui restent importantes pour la gouvernance réglementée des modèles.

• D’autres orientations opérationnelles, comme le Model AI Governance Framework de Singapour, peuvent aider les organisations à traduire les principes de gouvernance de l’IA en rôles, processus, documentation et contrôles adaptés à chaque niveau de risque.

La gestion des risques liés à l’IA repose sur des preuves. Les équipes doivent savoir quelles données un modèle a utilisées, comment ces données étaient gouvernées, qui y avait accès, quelle version du modèle a été déployée, quels garde-fous ont été appliqués et ce qui s’est passé après la mise en production. Snowflake aide à consolider cette chaîne de preuves à travers les données, les modèles, les applications et les workflows de gouvernance.

Snowflake Horizon Catalog aide les organisations à mieux visualiser leur exposition aux risques liés à l’IA en faisant ressortir le contexte de gouvernance, comme la découverte des données, l’historique des accès, l’étiquetage d’objets et les outils de conformité. Cortex Guard ajoute des garde-fous à l’exécution pour les cas d’usage d’IA générative dans Snowflake Cortex AI. Il peut filtrer les réponses potentiellement dangereuses ou préjudiciables générées par un modèle de langage.

Le Snowflake ML Model Registry aide les équipes à gérer les modèles et les métadonnées de modèles dans Snowflake, et prend en charge le monitoring de la performance et de la dérive via Snowflake ML Observability. Les équipes peuvent aussi mettre à jour des métadonnées comme les commentaires, les tags et les métriques, y compris les tags qui enregistrent l’objectif, l’algorithme, le jeu de données d’entraînement ou l’étape du cycle de vie d’un modèle.

La certification ISO/IEC 42001 de Snowflake pour son système de management de l’intelligence artificielle apporte une couche d’assurance supplémentaire. Ensemble, ces capacités aident les organisations à relier la gestion des risques liés à l’IA aux contrôles opérationnels les plus décisifs : l’accès aux données gouvernées, la traçabilité, les métadonnées, les garde-fous, le monitoring et les éléments probants pour l’audit.

La gestion des risques liés à l’IA est le modèle opérationnel qui permet aux organisations de comprendre ce qu’un système d’IA est censé faire, ce qui pourrait mal tourner, quels contrôles réduisent ce risque et quels éléments prouvent que ces contrôles fonctionnent.

À mesure que l’IA s’impose au cœur des processus métier, les risques ne se limitent plus aux modèles. Ils s’étendent aux données, aux applications, aux utilisateurs, aux prestataires et aux décisions prises sur la base des résultats produits par l’IA. Un programme concret de gestion des risques liés à l’IA donne aux équipes les moyens de gérer cette surface sans mettre chaque projet à l’arrêt. Il définit les niveaux de risque, attribue des responsables, documente les décisions, teste les systèmes avant leur lancement et les surveille après leur déploiement.

Pour les entreprises, les programmes les plus solides seront ceux qui relient la politique à des contrôles réellement opérationnels. C’est là que la gestion des risques liés à l’IA commence à opérationnaliser l’IA responsable : elle transforme les principes en contrôles opérationnels, en systèmes surveillés et en résultats auditables.