Gouvernance de l’IA : un guide pour les entreprises

Même un modèle d’intelligence artificielle (IA) performant peut s’avérer peu fiable dans un système de production. Lors d’une démo, les invites sont contrôlées, les données sont propres et l’accès limité. En production, le système peut faire remonter des politiques obsolètes, exposer des données restreintes ou déclencher des actions non voulues.

Les capacités des modèles sont importantes, mais leur fiabilité dépend de l’ensemble du système. La gouvernance de l’IA est la façon dont les entreprises définissent et appliquent ce système. Il relie les cas d’usage aux propriétaires responsables, les données aux politiques exécutoires et les modèles aux flux de travail d’approbation, à la surveillance et aux pistes d’audit. Il est conçu pour aider à rendre les résultats, en particulier ceux à fort impact, plus vérifiables, traçables et alignés sur le fonctionnement réel de l’entreprise.

La gouvernance gagne en importance avec l’évolution des systèmes d’IA. L’IA générative, la génération augmentée de récupération (RAG) et les agents ne se comportent pas comme les modèles traditionnels. Ils récupèrent des données, génèrent du contenu et, dans certains cas, prennent des mesures. Le traitement de chaque nouvelle fonctionnalité comme un cas particulier n’évolue pas, et la gouvernance fournit une façon cohérente de les gérer toutes.

La gouvernance de l’IA est l’ensemble des politiques, normes, contrôles et processus de supervision qui aident les entreprises à construire, déployer et exploiter l’IA de manière sûre, équitable, responsable et conforme aux exigences internes et externes. Elle s’applique tout au long du cycle de vie de l’IA, de l’identification des cas d’usage et de la sélection des données au développement, au déploiement, à la surveillance, à la réponse aux incidents et au retrait des modèles.

Le champ d’application est plus large que ce à quoi de nombreuses équipes s’attendent. La gouvernance de l’IA couvre les modèles de machine learning (ML), les applications d’IA générative, les systèmes multimodaux et les flux de travail agentiques qui peuvent prendre des mesures sur plusieurs outils.

Un modèle de détection des fraudes, un chatbot de service client, un assistant basé sur la RAG et un agent d’IA peuvent avoir des architectures très différentes. Mais elles nécessitent toutes les mêmes contrôles fondamentaux : un document clair explicitant ce que le système est autorisé à faire, les données auxquelles il peut accéder, qui l’a approuvé et comment son comportement est surveillé dans le temps.

La gouvernance de l’IA recoupe plusieurs disciplines adjacentes :

• La gouvernance des données régit les ressources de données telles que les tables, les vues, les politiques, les métadonnées, la traçabilité, la qualité et l’accès.
• La gouvernance des modèles les gère comme des actifs d’entreprise, avec enregistrement, validation, documentation et suivi.
• L’éthique de l’IA définit des principes tels que l’équité, la responsabilité et la supervision humaine.
• La conformité IA est axée sur la conformité aux exigences réglementaires, contractuelles et d’audit.

La gouvernance de l’IA est devenue une exigence d’entreprise car les systèmes d’IA sont désormais intégrés dans les décisions qui touchent la tarification, le recrutement, la détection des fraudes, l’expérience client et les services publics. L’IA générative peut faire émerger des informations sensibles. Les agents peuvent prendre des mesures sur plusieurs systèmes. Dans chaque cas, la question n’est plus seulement de savoir si le modèle est performant, mais si l’entreprise peut contrôler et expliquer le système autour de lui.

La pression réglementaire est un facteur déterminant. La Loi sur l’IA de l’UE établit une approche basée sur les risques qui oblige les entreprises à classer les systèmes d’IA, à mettre en place des contrôles et à produire une documentation prête à être auditée pour les cas d’usage à plus haut risque. La norme ISO/CEI 42001 complète ce processus en fournissant une norme de système de gestion de l’IA pour établir, maintenir et améliorer les pratiques de gouvernance. Bien que son adoption soit volontaire, de plus en plus d’entreprises choisissent de s’en servir pour se conformer à la Loi sur l’IA de l’UE.

Toutefois, la gouvernance n’est pas uniquement liée à la réglementation. Les systèmes d’IA peuvent produire des résultats discriminatoires, divulguer des données sensibles, générer des allégations non étayées ou automatiser des décisions sans supervision humaine suffisante. Ces défaillances peuvent créer un risque pour la réputation et rendre les clients, les employés et les partenaires moins disposés à faire confiance aux flux de travail alimentés par l’IA.

Jennifer Belissent, Principal Data Strategist chez Snowflake, définit la réalité commerciale directement : « Le véritable moteur de l’IA et de la gouvernance des données est déjà en place. Les clients l’exigent. Mettre en place des contrôles de sécurité et de confidentialité des données et gouverner l’utilisation de l’IA sont autant une question de réputation que d’exigences réglementaires. »

L’assurance IA devient un élément de la façon dont les entreprises évaluent leur niveau de préparation à l’IA. La question n’est pas de savoir si une organisation a une déclaration d’IA responsable, mais si elle peut montrer quels systèmes existent, quels contrôles s’appliquent, quels risques ont été acceptés, quels produits ont été examinés et quels incidents ont été signalés et dont il a été tiré des enseignements.

Les cadres de gouvernance de l’IA permettent aux entreprises de disposer d’un langage commun pour classer les risques, définir les contrôles et produire des preuves. Aucun framework ne couvre chaque exigence de l’entreprise, mais trois références sous-tendent désormais de nombreuses conversations sur la gouvernance :

• La Loi sur l’IA de l’UE constitue un cadre juridique contraignant pour les systèmes d’IA mis sur le marché européen ou utilisés dans celui-ci. Il utilise la classification des risques pour distinguer les pratiques interdites, les systèmes d’IA à haut risque, les obligations de transparence et les exigences pour les modèles d’IA à usage général. Pour les entreprises, la loi sur l’IA est importante, même en dehors de l’Europe, car ses catégories fournissent aux équipes juridiques, de gestion des risques et technologiques un moyen concret de classer les cas d’usage de l’IA, d’y joindre des obligations et de préparer des preuves d’évaluation de la conformité si nécessaire.
• Le NIST AI Risk Management Framework est un framework volontaire conçu pour aider les entreprises qui conçoivent, développent, déploient ou utilisent l’IA à gérer les risques et promouvoir une IA fiable. Le NIST organise le framework autour de fonctions telles que gouverner, cartographier, mesurer et gérer, ce qui le rend utile pour les entreprises qui développent des programmes transversaux de gestion des risques liés à l’IA, même lorsqu’elles ne sont pas soumises à une seule loi spécifique à l’IA.
• ISO/IEC 42001 est une norme internationale sur les systèmes de gestion de l’IA. Il spécifie les exigences relatives à l’établissement, à la mise en œuvre, à la maintenance et à l’amélioration continue d’un système de gestion de l’IA, ce qui le rend pertinent pour les entreprises qui veulent une structure de gouvernance certifiée pour le développement et l’utilisation de l’IA.

D’autres références mondiales sont également pertinentes. Les principes de l’IA de l’OCDE encouragent une IA digne de confiance, respectueuse des droits humains et des valeurs démocratiques. En outre, un livre blanc du ministère britannique de la Science, de l’Innovation et de la Technologie présente une approche de la réglementation de l’IA axée sur le contexte et pro-innovation. Ensemble, ces références pointent vers une même exigence opérationnelle : les entreprises ont besoin de mécanismes de gouvernance capables de classer les risques, de déterminer les responsabilités, d’appliquer des contrôles et de produire des preuves à mesure que les systèmes d’IA évoluent.

Regardez Une conversation sur l’éthique et la réglementation de l’IA générative :

Une gouvernance efficace de l’IA repose sur un ensemble de composants interconnectés qui garantissent que les systèmes d’IA sont développés et utilisés de manière responsable, sécurisée et en adéquation avec les objectifs de l’entreprise. Les composants suivants sont une synthèse des principaux frameworks de gouvernance de l’IA :

Stratégie et supervision

La gouvernance de l’IA commence par une orientation stratégique claire et la responsabilisation. Les entreprises ont besoin de structures de direction, de politiques et de processus de prise de décision définis pour guider l’adoption et la gestion de l’IA. Cela aide les initiatives d’IA à s’aligner sur les objectifs commerciaux et la tolérance au risque.

Gestion des risques

L’IA introduit toute une gamme de risques, notamment des biais algorithmiques, des failles de sécurité liées à l’IA et des résultats inattendus. Un cadre de gouvernance solide identifie, évalue et atténue ces risques tout au long du cycle de vie de l’IA, avec des processus de surveillance continue et de réponse aux incidents.

Gouvernance des données

Dans la mesure où les systèmes d’IA s’appuient fortement sur les données, la gouvernance doit veiller à ce que les données soient exactes, sécurisées et utilisées de manière responsable. Cela inclut la gestion de la qualité des données, de la confidentialité et des contrôles d’accès, ainsi que le maintien d’une traçabilité claire des données.

Gouvernance et gestion du cycle de vie

La gouvernance des modèles se concentre sur la façon dont les modèles d’IA sont développés, testés, déployés et maintenus. Il comprend des normes de validation, de documentation, de contrôle des versions et de surveillance continue afin de s’assurer que les modèles restent fiables et adaptés à l’objectif au fil du temps.

Éthique des données et utilisation responsable de l’IA

Au-delà des performances techniques, les systèmes d’IA doivent respecter des principes éthiques. Les cadres de gouvernance traitent de l’équité, de la transparence, de l’explicabilité et de la supervision humaine afin de réduire les dommages et de s’assurer que les résultats sont alignés sur les valeurs sociétales et organisationnelles.

Conformité et contrôles juridiques

Les entreprises doivent s’assurer que leurs systèmes d’IA sont conformes aux lois et réglementations applicables. Cela inclut le maintien des pistes d’audit, le respect des exigences en matière de documentation, la gestion des risques liés à des tiers et le traitement de questions telles que la responsabilité et la propriété intellectuelle.

Sécurité et fiabilité

Les systèmes d’IA doivent être protégés contre les abus, les manipulations et les attaques. La gouvernance inclut des garanties pour les données et les modèles, la résilience face aux menaces contradictoires et des contrôles pour empêcher tout accès non autorisé ou toute utilisation préjudiciable.

Transparence et la responsabilité

Une documentation et une traçabilité claires sont essentielles pour garantir la confiance. Les entreprises doivent conserver des dossiers sur la façon dont les systèmes d’IA sont conçus et exploités, fournir des explications appropriées sur les résultats et établir la responsabilité en cas de problème.

Opérations et suivi

La gouvernance de l’IA va au-delà du déploiement. La surveillance continue garantit que les systèmes fonctionnent comme prévu, tandis que les boucles de rétroaction, les audits et les processus de gestion des incidents aident les entreprises à répondre aux problèmes et à s’améliorer au fil du temps.

Culture, formation et gestion du changement

Une gouvernance réussie dépend autant des personnes que de la technologie. Les entreprises doivent investir dans la formation, promouvoir des pratiques d’IA responsables et favoriser une culture où les considérations éthiques et la sensibilisation aux risques sont intégrées dans la prise de décision quotidienne.

L’IA responsable définit ce que l’entreprise essaie de préserver à mesure que l’IA devient partie intégrante des processus opérationnels : équité des résultats, transparence sur le comportement du système, responsabilité des décisions, confidentialité des données pour les personnes affectées, sécurité dans des conditions attendues et inattendues et inclusion dans les groupes susceptibles d’être affectés par le système.

Ces principes nécessitent des mécanismes opérationnels pour être mis en pratique. Un principe d’équité se traduit par une vérification de biais avec des seuils documentés. Un principe de confidentialité exige de minimiser les données, de les masquer, de limiter leur conservation et de mettre en place des contrôles d’accès. Un principe de supervision humaine devient un flux de travail d’examen qui définit le moment où une personne doit approuver, outrepasser ou enquêter sur une recommandation générée par l’IA.

La gouvernance de l’IA donne sa structure à une IA responsable. Elle relie les principes aux propriétaires, aux artefacts et aux contrôles. L’objectif n’est pas de ralentir chaque projet d’IA avec le même processus, mais de s’assurer que les systèmes à plus haut risque reçoivent l’examen minutieux, la documentation et le suivi d’impact nécessaires.

La transparence et l’explicabilité sont souvent abordées ensemble, mais elles répondent à des questions différentes. La transparence de l’IA se rapporte à ce que les parties prenantes peuvent voir du système : qui le possède, ce qu’il est prévu de faire, quelles sources de données il utilise, quels contrôles s’appliquent et quelles limites ont été documentées. L’explicabilité désigne la raison pour laquelle une prédiction, une classification, une recommandation ou un produit spécifique ont été produits.

Un système d’IA transparent peut exposer sa fiche descriptive du modèle (ou model card), la documentation, l’historique des versions, le statut d’approbation et les limites connues. Un système explicable peut montrer quelles variables ont influencé une prédiction de risque de crédit ou quelles fonctionnalités ont le plus contribué à un score de désabonnement. Pour les systèmes d'IA générative, il peut également indiquer quels documents récupérés ont servi de fondement à une réponse générée, en tant qu'éléments justificatifs.

Les méthodes d’explicabilité technique telles que SHAP et LIME peuvent aider les équipes à interpréter certains résultats de modèles, en particulier dans des contextes tabulaires de ML, bien qu’elles soient moins applicables aux grands modèles de langage. Mais l’explicabilité n’est pas seulement une technique de modèle. Pour l’IA générative, elle peut également nécessiter des éléments justificatifs de la RAG, des documents sources cités, des journaux des prompts et des réponses, des explications post hoc, des signaux de confiance des résultats et une documentation claire indiquant où le système ne doit pas être utilisé.

La traçabilité de l’IA relie un produit d’IA aux ressources et actions qui l’ont produit. Dans un système de ML traditionnel, cela peut inclure la traçabilité des données, les données d’entraînement, les transformations de fonctionnalités, la version du modèle, les résultats de validation et le temps de déploiement. Dans une application d’IA générative, elle peut également inclure l’invite système, l’invite utilisateur, le contexte extrait, le fournisseur de modèle, la configuration d’inférence, les appels d’outils et la réponse générée. Dans un agent d’IA, la traçabilité peut s’étendre à l’état de la mémoire, à l’historique des actions et aux systèmes externes auxquels l’agent a accédé.

L’auditabilité désigne la capacité d’un examinateur interne ou indépendant de vérifier que le système a fonctionné comme prévu et que les contrôles requis ont été appliqués. Elle dépend des pistes d’audit, des journaux immuables le cas échéant, de la documentation sur la fiche descriptive du modèle, de la documentation sur les modèles, des dossiers de rapports d’incidents basés sur l’IA, de l’historique des accès et des preuves de contrôle qui peuvent être examinés après coup.

Ces capacités servent de substrat aux audits de conformité liés à l’IA. Une équipe de gouvernance ne peut pas évaluer de manière crédible si un système est conforme à la politique si elle ne peut pas reconstruire quelles données ont été utilisées, quel modèle ou quelle version de prompt était active, quel utilisateur a demandé le résultat et quelle action a suivi. C’est pourquoi la traçabilité de l’IA nécessite souvent à la fois la traçabilité des données et celle des modèles, ainsi que des journaux au niveau de l'application retraçant les prompts, le contexte récupéré et l'utilisation des outils.

La gouvernance de l’IA commence avec les données qui entraînent, ajustent, ancrent ou évaluent le modèle. Un modèle entraîné sur des données peu documentées peut reproduire des biais historiques, exposer des attributs sensibles, générer des résultats peu fiables ou échouer lorsqu’il est appliqué à une population qui n’était pas représentée dans les données d’origine. Dans un système de RAG, le modèle peut ne pas être entraîné sur des documents d’entreprise, mais les mêmes questions de gouvernance s’appliquent toujours au contenu extrait : d'où vient-il, qui le possède, est-il à jour, quelles politiques d'accès s'appliquent et s’il est approprié à la demande de l'utilisateur.

La gouvernance des données couvre la provenance, le consentement, les licences, la qualité, la conservation, l’accès, les attributs démographiques, la minimisation des données et l’utilisation approuvée. Pour la gouvernance des données des LLM, le champ d’application peut également inclure le pré-entraînement des divulgations de données, l’ajustement des données, les intégrations, les journaux d’appel et les données d’évaluation. La gouvernance des données synthétiques ajoute une dimension supplémentaire : la manière dont les données synthétiques ont été générées, si elles préservent leurs propriétés statistiques, si elles risquent de divulguer des données sources et les cas d'usage pour lesquels leur utilisation est approuvée.

L’audit des biais permet de vérifier si un système d’IA produit des disparités inacceptables entre les classes protégées, les attributs démographiques ou d’autres groupes pertinents. Ce travail exige des définitions claires, des données représentatives et une gestion minutieuse des attributs sensibles. Dans certains cas, des données démographiques peuvent être nécessaires pour détecter les biais. Dans d’autres, la collecte ou l’utilisation de ces données peuvent elles-mêmes créer des risques en matière de confidentialité et de conformité.

L’IA générative et des agents d’IA étendent la surface de la gouvernance car ils introduisent de nouveaux artefacts et comportements que les anciens programmes de gouvernance des modèles n’étaient pas conçus pour gérer. Un modèle de classification renvoie un score ou une catégorie. Une application d’IA générative peut produire un paragraphe, résumer un document, écrire du code, générer une image ou répondre à une question métier à partir du contexte extrait. Un agent d’IA peut aller plus loin en sélectionnant des outils, en établissant des plans, en stockant de la mémoire et en prenant des mesures sur plusieurs systèmes.

Gouvernance de l’IA générative

La gouvernance de l’IA générative couvre les données, les prompts, les modèles, les pipelines de récupération, les résultats et les divulgations qui façonnent le contenu généré. La gouvernance des prompts définit qui peut créer, modifier et approuver des prompts système, en particulier lorsque les prompts codent une politique, un comportement de rôle ou des contraintes d’accès. La gouvernance des LLM permet de suivre quel modèle de fondation est utilisé, où il s’exécute, quelles données sont partagées avec lui, comment les résultats sont filtrés et quelles obligations contractuelles ou de conformité s’appliquent.

La gouvernance de la RAG est particulièrement importante pour les cas d’usage d’entreprise, car les réponses générées dépendent souvent de documents, de tables ou d’entrées de la base de connaissances récupérés. Un système de RAG gouverné a besoin de métadonnées sur la provenance, de contrôles d’accès, de vérifications de l’actualité, de citations de sources et de mesures d’évaluation qui testent la pertinence et l’ancrage des réponses. Sans ces contrôles, le système risque de générer des réponses à partir de contenus obsolètes, restreints ou mal compris avec la même confiance que s’il le faisait à partir de données fiables.

Les obligations d’information relatives à l’IA et la transparence de l’IA générative définissent dans quelles situations les utilisateurs, les clients ou les employés doivent être informés qu’ils interagissent avec un système d’IA ou qu’ils reçoivent un contenu généré par l’IA. La gouvernance du contenu peut également inclure des normes de provenance telles que la norme C2PA, un examen humain des contenus à fort impact, le marquage numérique (watermarking), lorsque cela est approprié, ainsi que des politiques applicables aux contenus générés par l’IA destinés à une diffusion externe.

Gouvernance des agents d’IA

La gouvernance des agents d’IA inclut la supervision de l’utilisation des outils, les contrôles de la mémoire des agents et les règles de coordination multiagents. Un agent d’assistance qui rédige une réponse est un profil de risque, tandis qu’un agent qui peut émettre des remboursements, mettre à jour des relevés de compte ou interroger des systèmes internes sensibles en est un autre. La gouvernance doit définir les outils que l’agent est autorisé à appeler, les autorisations dont il hérite, les actions qui nécessitent une approbation préalable et la manière dont les exceptions sont consignées.

La mémoire des agents crée un autre objet de gouvernance. Si un agent conserve des préférences utilisateur, le contexte d’un projet ou des décisions antérieures, les équipes doivent définir des règles relatives à la conservation, à la suppression, au contrôle des accès, à la protection de la vie privée et à la possibilité que cette mémoire influence les actions futures. Les systèmes multiagents ajoutent un risque de coordination : un agent peut récupérer des données, un autre peut raisonner et un autre peut prendre des mesures. La piste d’audit doit montrer comment ces étapes sont liées.

La question pratique de la gouvernance est de savoir si l’entreprise peut restreindre le comportement de l’agent sans s’appuyer uniquement sur le modèle. Les garde-fous, les autorisations, les politiques relatives aux données, les mécanismes d’approbation des flux de travail, les journaux de traçabilité et le signalement des incidents contribuent tous à faire de l’IA agentique un système contrôlé plutôt qu’un processus opaque.

La gouvernance des modèles gère chaque modèle comme une ressource d’entreprise. Il inclut généralement l’enregistrement de modèles, les fiches descriptives de modèles, la documentation, la validation, les flux de travail d’approbation, le suivi, le retrait et la propriété. Un registre de modèles indique quels modèles existent et où ils sont déployés. Une fiche descriptive de modèle consigne les usages prévus, les résultats des évaluations, les limites, les considérations éthiques et les situations dans lesquelles le modèle ne doit pas être utilisé.

Le risque lié à un modèle est le risque qu’un modèle produise des résultats incorrects, inappropriés ou préjudiciables, ou qu’il soit utilisé en dehors du contexte pour lequel il a été conçu. Les établissements de services financiers considèrent depuis longtemps la gestion des risques liés aux modèles comme une discipline à part entière. La circulaire SR 11-7, qui fait depuis longtemps référence aux États-Unis en matière de gestion des risques liés aux modèles dans le secteur bancaire, met l’accent sur la gouvernance, la validation, les contrôles et la supervision. En avril 2026, la Réserve fédérale a publié des orientations révisées visant à adopter une approche davantage fondée sur les risques.

La gouvernance de l’IA s’inspire de la tradition des risques liés aux modèles mais l’étend à un ensemble plus large de systèmes. Un modèle de référence (challenger model) peut être utilisé pour comparer ses performances à celles d’un modèle en production. La surveillance peut suivre la dérive, la précision, la latence, le coût, l’équité ou les taux de rendement dangereux. Un examen responsable par l’IA peut permettre de déterminer si le cas d’usage correspond aux principes organisationnels, aux obligations légales et aux attentes des parties prenantes.

L’alignement des modèles ajoute une dimension supplémentaire, en particulier dans le cas de l’IA générative. L’alignement demande si un modèle ou une application d’IA se comporte de manière cohérente avec les objectifs, les politiques et les valeurs humaines visés. Des techniques telles que l’IA constitutionnelle peuvent orienter le comportement d’un modèle pendant son entraînement ou son ajustement, mais, en entreprise, l’alignement dépend également des mécanismes de contrôle qui l’entourent : cas d’usage approuvés, examen humain, garde-fous, infrastructure d’évaluation et procédures d’escalade clairement définies lorsque le système se comporte de manière inattendue.

La conformité de l’IA transforme les contrôles de gouvernance en preuves. Une politique peut indiquer que les systèmes à haut risque nécessitent une supervision humaine, mais un organisme de réglementation ou un client peut demander le flux de travail d’approbation, les noms des examinateurs, les dates d’examen, l’historique des problèmes et la preuve que le flux de travail a été appliqué avant le déploiement. La différence entre une police et un programme de conformité réside dans la capacité à démontrer que la police fonctionnait dans la pratique.

Le mappage des contrôles permet de relier les activités de gouvernance de l’IA aux exigences spécifiques des lois, normes et politiques internes. Un contrôle unique (par exemple, la tenue d’un inventaire des modèles) peut prendre en charge la loi européenne sur l’IA, la norme ISO/CEI 42001, la gestion interne des risques et les questionnaires d’assurance client. Un seul artefact, comme une fiche descriptive de modèle ou une évaluation de l’impact de l’IA, peut favoriser la transparence, la responsabilisation, l’examen des risques et les preuves d’audit.

La documentation destinée aux organismes de réglementation doit être exacte, à jour et reliée au système actuel. Cela inclut la destination du système d’IA, les sources de données, la classification des risques, les résultats de l’évaluation, le modèle de supervision humaine, le plan de surveillance, le processus de reporting des incidents et l’historique des changements. Pour l’IA générative et les systèmes agents, la documentation doit également couvrir les prompts, l’ancrage de la RAG, l’utilisation des outils, les garde-fous, la provenance du contenu et l’examen des résultats le cas échéant.

Les programmes de gouvernance de l’IA piétinent souvent lorsque le travail de conformité se fait après coup. Un modèle plus durable consiste à intégrer la documentation, la surveillance et le contrôle des preuves dans le pipeline de gouvernance, de sorte que chaque cas d’usage approuvé de l’IA laisse derrière lui les dossiers nécessaires pour l’examiner, l’auditer et l’améliorer.

La gouvernance de l’IA fonctionne mieux lorsqu’elle vit à proximité des systèmes qu’elle gouverne. Les règles de police doivent apparaître dans les registres de modèles, les politiques de données, les contrôles d’accès, les flux de travail d’approbation, les tableaux de bord de surveillance et les rapports d’incident. Dans le cas contraire, la gouvernance devient un processus parallèle que les équipes contournent lorsque le travail d’IA progresse rapidement.

La mise en œuvre pratique commence généralement par six étapes :

1. Inventorier chaque modèle et cas d’usage de l’IA : créer un inventaire de modèles comprenant le ML traditionnel, les applications d’IA générative, l’IA intégrée des fournisseurs, les systèmes de RAG, les agents d’IA et les systèmes expérimentaux qui peuvent déjà influencer le travail.
2. Classer par risque : utiliser un modèle de hiérarchisation des risques qui reflète l’impact, l’autonomie, la sensibilité aux données, l’exposition des utilisateurs et la portée réglementaire.
3. Attribuer des propriétaires et des évaluateurs responsables : chaque système a besoin d’un responsable désigné, d’un référent technique et d’un processus de revue clairement défini.
4. Intégrer des contrôles là où les données et le modèle s’exécutent déjà : les contrôles sont plus efficaces lorsqu’ils font partie du plan de contrôle des données, des modèles et des applications.
5. Documenter, surveiller et auditer en continu : la documentation sur les modèles, les fiches descriptives de modèles, les évaluations d’impact de l’IA, la traçabilité, l’historique des accès et les pistes d’audit doivent être mis à jour au fur et à mesure que les systèmes évoluent.
6. Rapporter les incidents et apprendre : les rapports d’incidents de l’IA doivent consigner ce qui s’est passé, qui a été affecté, quel contrôle a échoué ou n’a pas fonctionné et ce qui a changé par la suite.

La gouvernance de l’IA bénéficie de la proximité des données gouvernées. Si les politiques relatives aux données sont gérées dans un système, le développement des modèles dans un autre, les prompts dans un troisième et les applications d’IA ailleurs, les équipes consacrent une grande partie de leurs efforts de gouvernance à rapprocher les inventaires, à recopier des éléments d’étayage et à tenter de reconstituer, a posteriori, ce qui s’est passé.

Snowflake fournit des fonctionnalités conçues pour prendre en charge l’IA gouvernée là où se trouvent déjà les données gouvernées. Snowflake Horizon Catalog offre une couche de gouvernance unifiée pour les données et l’IA, avec des fonctionnalités telles que le contrôle d’accès, le masquage dynamique des données, les politiques d’accès aux lignes et la classification des données.

Le Snowflake Compliance Center ajoute une couche de surveillance pour la posture de sécurité du compte. Il évalue les comptes Snowflake par rapport aux recommandations du scanner, génère des conclusions lorsqu'il détecte des risques de sécurité potentiels et fournit des recommandations de remédiation.

Cortex Guard est conçu pour fournir une couche de sécurité d’exécution pour l’IA générative en filtrant les réponses potentiellement dangereuses ou nocives des LLM lorsqu’elles sont activées dans les fonctions de Snowflake Cortex AI.

La certification ISO/IEC 42001 de Snowflake ajoute un autre signal de crédibilité. La certification démontre des structures de gouvernance et de supervision pour la gestion du cycle de vie de l’IA, en mettant l’accent sur la transparence et la responsabilité dans le développement et l’utilisation de l’IA.

Pour les entreprises, l’adoption de l’IA ne peut se faire sans gouvernance. La gouvernance aide l’entreprise à voir ce que fait un système d’IA, qui en est responsable, quelles données et quels modèles ont façonné son comportement et si les bons contrôles ont été appliqués avant qu’un résultat ne soit intégré à une décision.

La gouvernance devient d’autant plus importante que l’IA se déplace vers des applications et des agents génératifs capables de récupérer des données d’entreprise, de générer du contenu, d’appeler des outils et d’influencer les flux de travail opérationnels.

Pour les entreprises, c’est là toute la valeur pratique de la gouvernance de l’IA. Elle permet aux équipes d’avancer plus rapidement avec une vision plus claire des risques, d’utiliser l’IA dans des endroits où la confiance et la responsabilité comptent, et de montrer aux clients, aux organismes de réglementation et aux parties prenantes internes comment les systèmes d’IA sont gérés au fil du temps.