Éthique des données : principes et pratiques pour un usage responsable des données

L’éthique des données aide les entreprises à faire des choix justifiables en matière d’utilisation des données avant que ces choix ne soient figés dans les pipelines, les modèles, les applications et les produits de données partagés.

Les entreprises se soucient de l’éthique des données, car leur exploitation de ces dernières conditionne désormais la confiance, la maîtrise des risques et la prise de décision. Les clients, les employés, les organismes de réglementation et les partenaires commerciaux s’attendent de plus en plus à ce que les données soient exploitées de manière explicable, proportionnée et conforme à leur finalité initiale. 

Alors que les systèmes d’IA et de ML transforment de plus en plus les décisions basées sur les données en résultats automatisés, les dérives éthiques au sein de la couche de données peuvent rapidement s’amplifier, en particulier lorsque les données d’entraînement reflètent des biais, que des attributs sensibles intègrent les pipelines sans contrôle ou que les données sont réutilisées au-delà de leur finalité approuvée.

L’éthique des données est l’application de principes moraux aux décisions concernant la manière dont les données sont collectées, stockées, utilisées et partagées. Elle apporte une dimension éthique à un programme de gouvernance, aidant les équipes à décider non seulement ce qui est légalement requis, mais aussi ce qui est approprié, proportionné et soumis à responsabilisation lorsque les données circulent dans les workflows analytiques, d’IA et métiers. En traduisant les engagements éthiques en politiques de gouvernance et en contrôles de plateforme, les entreprises peuvent utiliser les données avec plus de confiance tout en réduisant les risques de préjudice.

En pratique, l’éthique des données commence avant même la rédaction de la politique de gouvernance. Une entreprise commence par définir ce qu’elle fera et ne fera pas avec les données, notamment les utilisations qui nécessitent un consentement, les attributs sensibles à minimiser, les jeux de données à ne pas réutiliser pour l’entraînement de l’IA sans examen préalable, et la piste d’audit à mettre en place lorsqu’un produit de données affecte des clients, des employés ou des patients. Ces engagements doivent ensuite se traduire par des contrôles de gouvernance, tels que des règles de collecte, d’accès, de conservation, de partage, de masquage et d’examen.

La dernière étape est la mise en application. Une politique stipulant que les attributs démographiques sensibles doivent être restreints est plus efficace lorsque la plateforme de données peut aider à identifier ces attributs, à appliquer des étiquettes, à prendre en charge le masquage ou les politiques d’accès aux lignes, et à offrir une visibilité sur l’usage en aval et l’historique des accès.

L’éthique des données est liée à la confidentialité, à la conformité et à la gouvernance, tout en s’en distinguant. 

• La confidentialité se concentre principalement sur la protection des données personnelles contre tout accès non autorisé ou toute utilisation abusive. 

• La conformité définit les obligations légales. 

• La gouvernance définit les rôles, les politiques et les contrôles techniques qui permettent de gérer les données tout au long de leur cycle de vie. 

• L’éthique des données guide les choix qui sous-tendent ces mécanismes, notamment les données à collecter, les personnes autorisées à y accéder, leur durée de conservation et les cas où une nouvelle utilisation nécessite un examen humain supplémentaire.

L’IA a rendu les conséquences éthiques des décisions relatives aux données beaucoup plus visibles. Un jeu de données d’entraînement biaisé peut affecter à grande échelle les recommandations d’embauche, les décisions de crédit ou les workfllows de tri médical. Un attribut client collecté dans un but précis peut devenir une variable d’entrée pour une décision automatisée. Un pipeline de modèles peut réutiliser des données d’une manière techniquement autorisée, mais éthiquement difficile à justifier. L’éthique des données aide les entreprises à examiner ce type de décisions avant qu’elles ne soient intégrées dans les systèmes et ne deviennent difficiles à inspecter.

La législation européenne sur l’IA (EU AI Act) comprend des exigences en matière de gouvernance des données pour certains systèmes d’IA à haut risque, notamment des pratiques liées aux jeux de données d’entraînement, de validation et de test, aux processus de collecte de données, à la préparation des données, aux biais potentiels et à la finalité initiale de la collecte des données personnelles. Le cadre de gestion des risques liés à l’IA du NIST (AI Risk Management Framework) associe également la gouvernance de l’IA aux pratiques de gestion des risques de l’entreprise à travers des fonctions telles que gouverner, cartographier, mesurer et gérer.

Écoutez le podcast Data Cloud pour entendre Jack Berkowitz, Chief Data Officer chez ADP, aborder le partage de données et l’application de l’éthique aux algorithmes.

Les programmes d’éthique des données varient selon l’entreprise, le secteur d’activité et le cadre réglementaire, mais la plupart reposent sur un socle commun de principes. Ces principes aident les équipes data, les data stewards, les équipes juridiques et les dirigeants à prendre des décisions cohérentes concernant l’usage des données avant que ces décisions ne soient intégrées dans des pipelines, des modèles ou des applications.

Usage responsable des données

L’usage responsable des données est l’engagement opérationnel à collecter, stocker et analyser les données de manière à minimiser les préjudices, à respecter les droits et à servir des finalités clairement définies. Elle concrétise l’intention éthique en règles applicables au niveau des pipelines : quelles données entrent dans un workflow, quels champs sont conservés, quelles équipes peuvent y accéder et quels usages en aval sont autorisés.

L’usage responsable des données repose généralement sur quatre obligations majeures :

• La collecte licite : Les données sont recueillies sur une base légale valide, avec un consentement explicite ou une autre justification approuvée.

• La limitation des finalités : Les données sont utilisées uniquement aux fins énoncées, approuvées ou raisonnablement attendues.

• La proportionnalité : Les équipes collectent et ne conservent que les données nécessaires à la tâche spécifique.

• La minimisation des risques d’atteinte : Les entreprises évaluent les préjudices prévisibles en aval avant de déployer des produits de données, des workflows analytiques ou des systèmes d’IA.

La dignité des données

La dignité des données est le principe selon lequel les individus doivent pouvoir comprendre et influencer la manière dont les données les concernant sont utilisées. Elle traite les données comme une dimension indissociable de l’autonomie et du contexte d’une personne, et non comme un simple actif à extraire, combiner et réutiliser.

Ce concept est différent de la confidentialité, bien que les deux se recoupent. La confidentialité aide à protéger les données personnelles contre tout accès non autorisé ou toute utilisation abusive. La dignité des données amène à se demander si un usage autorisé respecte toujours la personne que ces données représentent. Par exemple, des dossiers médicaux peuvent être stockés en toute sécurité et consultés par des utilisateurs autorisés, mais l’usage de ces dossiers pour entraîner un système d’IA commercial sans information préalable ni consentement éclairé peut tout de même soulever des questions de dignité.

En pratique, la dignité des données oriente la conception du consentement, la définition des finalités, la minimisation des données et les droits des personnes concernées. Le consentement doit être véritable et éclairé, plutôt que noyé dans des conditions générales d’utilisation (CGU). L’énoncé des finalités doit être suffisamment explicite pour encadrer les usages futurs. La collecte de données doit se limiter à ce que requiert la tâche. De plus, les individus doivent disposer de moyens appropriés pour comprendre, contester ou influencer l’usage de leurs données, en particulier lorsque cet usage a un impact sur l’accès à des services, des opportunités ou des décisions.

Transparence et gouvernance ouverte des données

La transparence offre aux acteurs internes et externes un moyen de à une entreprise de comprendre comment les données sont exploitées. Elle peut inclure les enregistrements de traçabilité, la provenance des données, les métadonnées de catalogue, la documentation des modèles, les approbations de gouvernance et les pistes d’audit. L’objectif de la transparence est de rendre l’information appropriée visible pour les bons réviseurs, data stewards, organismes de réglementation, partenaires ou consommateurs de données.

La gouvernance ouverte des données applique le principe de transparence aux données rendues publiques ou partagées à des fins de recherche, de responsabilisation ou de collaboration. L’open data peut favoriser la confiance, la recherche universitaire et la redevabilité démocratique, mais une ouverture sans restriction peut également exposer des données personnellement identifiables (PII), de la logique métier propriétaire ou des informations sensibles du secteur public. Les programmes éthiques d’open data concilient accessibilité et contrôle des risques. Les principes FAIR (faciles à trouver, accessibles, interopérables et réutilisables) sont souvent utilisés pour guider les pratiques responsables en matière d’open data. 

En pratique, cela inclut l’utilisation de catalogues de données pour publier des métadonnées riches sans exposer de champs sensibles, la mise à disposition des pistes d’audit de gouvernance aux organismes de réglementation pour contrôle, et le maintien de jeux de données versionnés avec une documentation claire sur leur provenance afin que les utilisateurs puissent comprendre comment les données ont été créées, transformées et mises à jour au fil du temps.

Équité

L’équité consiste à s’assurer que les systèmes data-driven produisent des résultats appropriés, justifiables et non systématiquement préjudiciables aux groupes protégés ou vulnérables. Dans le domaine de l’analytique et de l’IA, l’équité dépend à la fois des données et du système qui les utilise.

Par exemple, un modèle d’aide au recrutement entraîné sur des données historiques risque de perpétuer les biais du passé si ses données d’apprentissage reflètent des mécanismes d’exclusion ou des inégalités d’accès aux opportunités. De même, un modèle de tri médical peut donner des résultats différents selon les populations si les données sous-jacentes sous-représentent certains groupes.

L’équité n’est pas un simple paramètre technique, car différentes définitions de l’équité peuvent entrer en conflit les unes avec les autres. Par exemple :

• La parité démographique cherche à savoir si les résultats sont répartis de manière égale entre les groupes.

• L’égalité des cotes se concentre sur la similarité des taux d’erreur entre les groupes.

• L’équité individuelle cherche à savoir si des individus similaires reçoivent un traitement similaire. 

Les équipes doivent choisir la norme d’équité qui correspond au contexte de décision et documenter les raisons de ce choix.

Les risques éthiques apparaissent souvent lorsque les données passent d’un contexte à un autre. Ces risques sont particulièrement visibles dans l’IA et le ML, où les choix en matière de données peuvent façonner les résultats à grande échelle.

Biais des données

Le biais des données est une erreur systématique dans un jeu de données qui peut fausser les résultats d’analyses ou de modèles dans une direction particulière. Ce biais peut provenir de lacunes d’échantillonnage, d’inégalités historiques, d’erreurs de mesure, de pratiques d’étiquetage ou de processus métier qui n’ont jamais été conçus pour ce nouvel usage.

Le biais devient alors un problème de gouvernance, et pas seulement un problème de ML. Au moment où un data scientist entraîne un modèle, de nombreuses décisions liées aux biais peuvent déjà être ancrées dans les données : quelles populations ont été incluses, quels champs ont été collectés, quelles étiquettes ont été appliquées, quels enregistrements ont été exclus et quels résultats historiques ont été traités comme vérité de terrain.

L’éthique des données exige un examen dès le début du cycle de vie. Les équipes doivent comprendre l’origine des données, la finalité de leur collecte, les lacunes de représentation connues et les hypothèses qui sous-tendent les étiquettes ou les résultats. Dans le contexte de l’IA, cela s’aligne sur les attentes réglementaires et de gestion des risques concernant la qualité des données d’entraînement, la représentativité et l’atténuation des biais.

Équité algorithmique

L’équité algorithmique se concentre sur les résultats des modèles plutôt que sur le seul jeu de données. Elle s’intéresse au comportement du système une fois qu’il utilise ces données pour prendre ou appuyer des décisions.

Les professionnels évaluent souvent l’équité à plusieurs étapes clés :

• En amont de la phase d’entraînement, les équipes peuvent auditer la composition des données afin de s’assurer de la juste représentativité des populations concernées. 

• Lors de l’évaluation du modèle, ils peuvent tester les résultats pour détecter d’éventuels impacts disparates par cohorte. 

• En production, ils peuvent surveiller les résultats pour détecter les dérives, l’évolution des taux d’erreur ou des disparités inattendues.

Supprimer un champ sensible n’élimine pas nécessairement le risque, car d’autres variables peuvent servir de variables de substitution. Par exemple, un modèle peut ne pas utiliser directement l’origine ethnique, le genre, le statut d’invalidité ou le revenu, mais la localisation, le niveau d’éducation, le comportement d’achat ou les schémas d’emploi peuvent toujours être corrélés à des attributs protégés. Une gouvernance éthique de l’IA nécessite donc à la fois des contrôles au niveau des données et une surveillance au niveau des résultats.

Les décisions relatives à l’équité algorithmique doivent également être documentées. Lorsqu’une équipe privilégie l’égalité des chances à la parité démographique, ce choix traduit des postulats forts quant au contexte décisionnel, aux arbitrages acceptables et aux préjudices que l’organisation s’efforce d’atténuer. L’éthique des données permet de s’assurer que ces choix ne restent pas masqués au sein des workflows techniques.

Jennifer Belissent, Principal Data Strategist chez Snowflake, explique en quoi une IA responsable repose sur un socle data solide : « Le succès dans ce nouveau paysage de l’IA ne dépend pas seulement de ce nouvel outil attrayant, mais aussi des fondations sur lesquelles il sera bâti. Le socle d’une utilisation réussie et responsable de l’IA et de l’IA générative doit reposer sur la sécurité des données, la diversité des données et la maturité organisationnelle. »

Résultats de modèles biaisés ou portant atteinte à la dignité

Les risques de biais et d’atteinte à la dignité peuvent converger lorsque des données sensibles alimentent des workflows d’IA sans évaluation préalable. Un modèle peut générer des résultats qui désavantagent un groupe, exposent des informations qui auraient dû être limitées au strict minimum ou utilisent des données personnelles d’une manière qui ne correspond pas à la finalité initiale de leur collecte.

C’est pourquoi les contrôles de gouvernance sont essentiels. Les politiques d’accès au niveau des lignes, les politiques de masquage et les balises d’objet peuvent aider à contrôler quels attributs démographiques, de santé, financiers ou comportementaux parviennent aux pipelines d’entraînement des modèles. La traçabilité peut aider les équipes à déterminer si un champ sensible est passé d’une source gouvernée à une table dérivée, un ensemble de features ou une application. L’Access History permet de savoir qui a interrogé un jeu de données et à quel moment.

Les contrôles ne résolvent pas toutes les questions éthiques, mais ils créent les conditions nécessaires à l’examen, à l’application des règles et à la responsabilisation. Sans eux, l’éthique des données dépend du jugement individuel lors de chaque transfert. Grâce à eux, les engagements éthiques peuvent se traduire par des règles reproductibles.

L’éthique des données doit s’intégrer au cœur même des processus opérationnels, depuis la collecte et l'interrogation des données jusqu’à leur partage et leur réutilisation. En pratique, les entreprises l’opérationnalisent à travers quelques pratiques interconnectées.

Documenter les engagements en matière de valeurs

Les entreprises commencent généralement par définir ce qu’elles feront et ne feront pas avec les données. Ces engagements doivent être suffisamment précis pour guider les décisions. Une déclaration générale affirmant que l’entreprise utilise les données de manière responsable est moins utile qu’un engagement clair à minimiser la collecte de données sensibles, à éviter toute utilisation secondaire sans examen préalable ou à documenter les choix d’équité pour les systèmes de décision automatisés.

Ces engagements doivent également avoir des responsables désignés. L’intendance des données attribue à des personnes désignées la responsabilité des domaines, des définitions, de la qualité, des accès et du respect des politiques. Les équipes juridiques, de conformité, de sécurité et métier peuvent aider à définir ces engagements, mais les data stewards aident à les appliquer aux tables, champs, pipelines et produits de données réels.

Inscrire les engagements dans les politiques de gouvernance

Une fois les engagements définis, les entreprises ont besoin de politiques de gouvernance qui spécifient les mesures à prendre. Un engagement de minimisation des données peut se traduire par une politique de rétention qui supprime ou archive les enregistrements après une période définie. Un engagement en faveur de la dignité peut devenir un processus d’examen du consentement pour de nouvelles utilisations des données personnelles. Un engagement d’équité peut nécessiter des audits de la composition des données d’entraînement avant le déploiement du modèle.

Les politiques doivent être liées au cycle de vie des données. Les politiques de collecte définissent quelles données peuvent être recueillies et sur quelle base juridique ou éthique. Les politiques d’accès définissent qui peut utiliser les champs sensibles. Les politiques de rétention définissent la durée pendant laquelle les données restent disponibles. Les politiques de partage définissent quand les données peuvent être publiées, échangées ou mises à disposition de partenaires. Les politiques d’examen définissent quand un nouvel usage requiert une approbation.

Appliquer les politiques grâce aux contrôles de la plateforme

Les politiques éthiques sont difficiles à pérenniser si elles reposent uniquement sur des examens manuels. Les contrôles de la plateforme permettent d’appliquer les politiques là où les données sont stockées, interrogées, partagées et utilisées.

Les politiques de masquage permettent de réduire l’exposition des colonnes sensibles. Les politiques d’accès au niveau des lignes permettent de restreindre les enregistrements qu’un utilisateur ou un rôle peut voir. Les balises d’objet permettent d’identifier les données sensibles, les usages approuvés, la propriété du domaine, les exigences de rétention ou le statut de classification. La classification des données permet d’identifier les données potentiellement sensibles afin de les gouverner de manière cohérente. 

Par exemple, une politique peut stipuler que les attributs démographiques sensibles ne doivent pas être largement accessibles pour l’entraînement de modèles. Un contrôle de plateforme peut masquer ces attributs, restreindre l’accès aux rôles approuvés et préserver les métadonnées indiquant comment les données sont gouvernées.

Utiliser la traçabilité et les pistes d’audit pour prouver un usage responsable

Les entreprises ont également besoin de preuves. La traçabilité permet de retracer l’origine des données, leurs modifications et les actifs en aval qui en dépendent. Les pistes d’audit permettent de savoir qui a accédé aux données, à quel moment et dans quel contexte. 

Ensemble, ils permettent aux équipes de prouver que les données ont été utilisées conformément à la finalité définie, et que les champs gouvernés n’ont pas migré à leur insu vers des workflows non autorisés. Ces preuves soutiennent à la fois la responsabilisation interne et le contrôle externe.

Évaluer l’usage des données à mesure que le contexte évolue

Les données circulent, les besoins de l’entreprise évoluent et les systèmes d’IA génèrent de nouvelles formes de réutilisation. Ce qui présentait un faible risque lors de la collecte peut devenir hautement sensible après une jointure, un réentraînement de modèle ou un passage en production à grande échelle.

Une évaluation continue permet aux entreprises de maintenir leurs politiques alignées sur le contexte. Cela peut inclure des contrôles d’accès périodiques, des examens de rétention, la certification des produits de données, des audits d’équité, des revues de traçabilité et des workflows d’approbation pour les nouveaux cas d’usage. La supervision humaine reste essentielle, car les questions d’éthique impliquent souvent un contexte qu’une simple règle ne peut pas entièrement appréhender.

Snowflake aide les entreprises à opérationnaliser l’éthique des données en associant politiques de gouvernance, métadonnées et contrôles directement au sein de l’environnement de données. 

Centraliser le contexte de gouvernance

Snowflake Horizon Catalog permet aux équipes de découvrir, de comprendre et de gouverner les données, les applications et les modèles au sein de l’AI Data Cloud. En faisant remonter des métadonnées telles que les classifications, les balises d’objet, les politiques, la propriété et la traçabilité, Horizon Catalog offre aux data stewards et aux utilisateurs plus de contexte avant que les données ne soient utilisées dans des workflows d’analytique, d’IA ou de partage de données.

Garantir un usage responsable des données

Snowflake associe ses engagements en matière d’IA responsable à des contrôles de gouvernance qui permettent aux équipes d’appliquer des principes éthiques directement au niveau de la couche de données. Le masquage dynamique des données limite l’exposition superflue des colonnes sensibles, tandis que les politiques d’accès aux lignes restreignent la visibilité des enregistrements en fonction des utilisateurs ou des rôles. L’étiquetage d’objets et la classification permettent d’identifier les données gouvernées et d’appliquer des contrôles de manière plus cohérente sur l’ensemble des produits de données et des pipelines.

Auditer et analyser l’activité des données

Un usage responsable des données exige également la production d’éléments probants. Les fonctionnalités de Snowflake telles que l’historique des accès, l’étiquetage d’objets et la traçabilité permettent aux équipes de savoir qui a accédé aux données, vers où les données gouvernées ont migré et quels actifs en aval en dépendent. Cette piste d’audit permet de faciliter les revues d’intendance des données, les workflows de conformité et les vérifications visant à s’assurer que les données ont bien été utilisées conformément à leur finalité approuvée.

Soutenir les workflows d’IA responsable

Pour les cas d’usage de l’IA, le contexte de gouvernance est primordial avant même que les données n’intègrent un modèle ou une application. Snowflake permet aux équipes d’appliquer des contrôles de gouvernance des données aux workflows d’IA au sein de l’environnement même où les données sont stockées et traitées, tandis que Cortex Guard assure la sécurité du contenu pour les applications basées sur des LLM et développées avec Snowflake Cortex AI. Ensemble, ces fonctionnalités permettent aux équipes de connecter les pratiques d’IA responsable au socle data gouverné sous-jacent.

L’éthique des données doit guider les décisions concrètes qui déterminent quelles données sont collectées, comment elles sont classées, qui peut y accéder, où elles sont transférées et quand une nouvelle utilisation nécessite un examen. Lorsque les data stewards peuvent retracer la traçabilité, associer des balises, appliquer des politiques de masquage, contrôler les accès et documenter les finalités, les entreprises sont mieux armées pour intégrer des pratiques éthiques d’utilisation des données dans leurs opérations quotidiennes, plutôt que de passer par un processus d’approbation distinct. 

Il en résulte des bases plus solides pour des analyses responsables, le développement de l’IA et le partage de données, ce qui permet aux entreprises d’utiliser les données avec plus de confiance et de responsabilité.