Biais algorithmiques expliqués : Types, détection et techniques d'atténuation

Maintenant que l’intelligence artificielle est intégrée dans des flux de travail à fort impact, tels que les décisions de crédit, l’évaluation des risques cliniques et la sélection d’emplois, les biais algorithmiques sont devenus un risque opérationnel avec des conséquences juridiques, éthiques et en matière de réputation. Le modèle applique une régularité apprise à une décision qui influe sur l'accès, les opportunités ou le traitement.

Il y a biais algorithmique lorsque ces modèles d’apprentissage produisent des résultats systématiquement injustes pour certains groupes. Les problèmes trouvent souvent leur origine dans les données d'entraînement, les étiquettes, les variables proxy, les fonctions objectif ou le contexte de déploiement qui déterminent ce que le modèle apprend et la manière dont ses sorties sont utilisées. Les entreprises ont besoin de gouvernance des données, d'évaluation des modèles, de supervision et de responsabilité humaine pour comprendre où les biais s'introduisent dans le système et quels dispositifs de contrôle peuvent en réduire l'impact. Ces pratiques sont à la base d’une IA responsable, où les systèmes sont conçus, évalués et gouvernés en gardant à l’esprit l’équité, la responsabilité et la gestion des risques.

Un biais algorithmique est une erreur systématique dans un système d’IA ou de machine learning (ML) qui crée des avantages ou des inconvénients injustes pour certains groupes. Le groupe affecté peut être défini par un attribut protégé tel que la race, le sexe, l'âge ou le handicap, mais le biais peut également apparaître via une variable proxy qui remplace un attribut protégé, comme le code postal, l'établissement scolaire, le profil de revenu, le coût des soins de santé ou les antécédents professionnels.

Il en va différemment des erreurs aléatoires, où les erreurs sont réparties à peu près uniformément entre les groupes. Un modèle de fraude qui laisse passer des transactions à des taux similaires pour tous les segments de clientèle peut avoir un problème de précision, mais pas nécessairement d'équité. Un modèle qui produit des taux de faux positifs plus élevés pour un sous-groupe, même lorsque la précision globale semble acceptable, soulève une autre préoccupation : l’indicateur moyen masque les problèmes de performance liés au sous-groupe spécifique.

Le biais algorithmique est également plus large que le biais statistique, terme technique qui désigne généralement l'écart entre la valeur espérée d'un estimateur et la valeur réelle qu'il cherche à estimer. Dans l'IA appliquée, le biais algorithmique inclut le contexte social et opérationnel autour du modèle : ce que représentent les données d'entraînement, ce que mesurent les étiquettes, quel objectif le modèle optimise et comment les personnes se servent des sorties.

Les biais peuvent être intentionnels, non intentionnels ou émergents. Un modèle peut refléter une règle discriminatoire intentionnelle, mais il apprend plus souvent à partir de données historiques façonnées par un accès inégal, des mesures incohérentes ou des processus institutionnels qui n’ont jamais été conçus pour une réutilisation algorithmique. Un tableau des décisions d'embauche prises antérieurement, par exemple, peut ressembler à des données métier neutres jusqu'à ce qu'un modèle les utilise pour reproduire des schémas créés par des réseaux de recrutement antérieurs, des pratiques de promotion ou des critères de sélection qui favorisaient certains candidats au détriment d'autres, un exemple de biais involontaire. Dans d’autres cas, des biais peuvent apparaître, même en l’absence d’apports biaisés ou de règles explicites, car les interactions entre les variables conduisent à des résultats systématiquement inégaux.

Les biais algorithmiques peuvent s'introduire à presque n'importe quel stade du cycle de vie de l'IA, de la collecte des données jusqu'au déploiement du modèle. Les entreprises doivent être en mesure d’identifier non seulement si le modèle contient un biais, mais aussi d’où provient le biais et quels contrôles peuvent y remédier.

Biais historiques

Les biais historiques apparaissent lorsque les données d’entraînement reflètent une discrimination ou une inégalité de traitement passées. Un modèle de prêt entraîné sur des approbations hypothécaires historiques peut apprendre des régularités façonnées par le redlining, les inégalités de patrimoine ou les pratiques antérieures de souscription. Même si les attributs protégés sont supprimés, des variables corrélées telles que le quartier, la stabilité des revenus ou l'historique de crédit peuvent perpétuer la régularité.

Cela est important, car une prédiction historique « précise » n’est pas toujours une décision future équitable. Un modèle peut apprendre fidèlement le passé tout en produisant des résultats qu’une entreprise ne devrait pas répéter.

Biais de représentation

Il y a biais de représentation lorsque certains groupes sont sous-représentés dans les données de d'entraînement. Lorsqu’un modèle voit moins d’exemples d’un sous-groupe, il dispose généralement de moins d’informations pour apprendre les régularités qui s’appliquent à ce sous-groupe.

Les systèmes d’analyse faciale en fournissent un exemple bien connu. Dans l’étude « Gender Shades », les chercheuses Joy Buolamwini et Timnit Gebru ont constaté que les systèmes commerciaux de classification selon le genre étaient beaucoup plus performants chez les hommes à la peau claire que chez les femmes à la peau plus foncée, les taux de classement erroné les plus élevés étant observés chez les femmes à la peau plus foncée.

Ces lacunes en matière de précision peuvent devenir particulièrement préjudiciables lorsque la reconnaissance faciale est utilisée par les forces de l’ordre : À Détroit, Porcha Woodruff, une femme noire enceinte de huit mois, a été arrêtée après que la technologie de reconnaissance faciale l'a renvoyée comme correspondance possible dans une enquête sur un vol de voiture ; l'affaire a ensuite été classée.

Biais de mesure

Les biais de mesure surviennent lorsqu’une fonctionnalité ou une étiquette ne mesure pas réellement le concept cible. Les taux d’arrestation, par exemple, ne mesurent pas les taux de criminalité. Ils reflètent également les pratiques policières, les méthodes de signalement et les priorités en matière d'application de la loi. Les dépenses de santé ne mesurent pas les besoins en santé. Elles reflètent l’accès aux soins, la couverture d’assurance, la capacité de payer et les comportements de recherche de soins.

Cette distinction a été au cœur d’une étude scientifique menée en 2019 par Ziad Obermeyer et ses coauteurs, qui a mis en évidence les biais raciaux dans un algorithme de gestion des risques largement utilisé, car le modèle utilisait le coût des soins de santé comme approximation des besoins de santé. Pour un même score de risque, les patients noirs étaient souvent plus malades que les patients blancs, car un accès inégal aux soins avait historiquement conduit à dépenser moins d'argent pour leur prise en charge.

Biais d’agrégation

Le biais d’agrégation apparaît lorsqu’un modèle est appliqué à des populations hétérogènes, même si différents sous-groupes ont des régularités sous-jacents différents. Un modèle clinique unique, par exemple, peut produire de mauvais résultats si les biomarqueurs, le risque initial ou la présentation de la maladie diffèrent selon les groupes ethniques, les groupes d’âge ou les établissements de soins.

Le problème n’est pas que chaque sous-groupe ait besoin d’un modèle distinct. C'est que les organisations doivent vérifier si le modèle partagé est adapté à la population qu'il est censé servir. Sans évaluation de sous-groupes, le modèle peut sembler acceptable en moyenne, mais il peut être défaillant pour les personnes les moins représentées dans l’ensemble.

Biais d’évaluation

Il y a biais d’évaluation lorsque les benchmarks ou les données de test ne reflètent pas la population déployée. Un modèle entraîné et évalué sur la population de patients d'un seul hôpital, le vivier de candidats d'un seul employeur ou les données financières d'une seule région peut afficher de bons résultats lors de la validation, puis se comporter différemment une fois déployé dans un autre contexte.

C’est pourquoi l’évaluation des modèles doit inclure des tranches spécifiques au déploiement. Un modèle de fraude entraîné sur une seule gamme de produits ne doit pas, par exemple, être évalué uniquement sur la base de la précision et du rappel globaux s'il est destiné à être utilisé dans différentes régions, segments de clientèle et canaux de transaction présentant des régularités comportementales distinctes.

Biais de déploiement

Les biais de déploiement surviennent lorsqu’un modèle est utilisé dans un contexte pour lequel il n’a pas été conçu. Un score de risque clinique développé pour soutenir le processus d'allocation des ressources d'un seul hôpital peut ne pas fonctionner de la même manière dans un autre hôpital présentant des profils de patients, des pratiques de codification ou des parcours de soins différents.

Les résultats produits par le modèle peuvent être techniquement corrects dans leur contexte d’origine, mais trompeurs dans un nouveau contexte. C'est pourquoi les décisions de déploiement doivent être documentées : usage prévu, usages exclus, population d'entraînement, population de validation, limites connues et révision humaine requise.

Biais de boucle de rétroaction

Il y a biais de boucle de rétroaction lorsque les résultats des modèles façonnent les données utilisées pour entraîner ou mettre à jour les futurs modèles. La surveillance prédictive est l'exemple classique : si un modèle envoie davantage de forces de l'ordre dans un quartier, davantage d'incidents y sont susceptibles d'être enregistrés, ce qui renforce la conviction du modèle que cette zone présente un risque plus élevé.

La même tendance peut se produire dans la prévention des fraudes, les prêts, le recrutement et les soins de santé. Un modèle qui oriente moins de candidats, de clients ou de patients vers un processus peut réduire les données futures disponibles sur ces groupes, rendant la prochaine version du système encore moins fiable pour eux.

La détection des biais commence avec les données et se poursuit par l'évaluation du modèle, la supervision en production et l'audit. Un modèle peut réussir des tests de performance standard tout en créant un impact disproportionné si les équipes ne mesurent pas les résultats selon les groupes concernés.

L’analyse des performances des sous-groupes en est le socle. Les équipes comparent l'exactitude, la précision, le rappel, les taux de faux positifs, les taux de faux négatifs et le calibrage selon les sous-groupes démographiques ou autres segments pertinents. Pour un modèle d’embauche, cela peut consister à comparer les taux de sélection par sexe, race et tranche d’âge. Pour un modèle clinique, il peut s’agir de mesurer le rappel entre les hôpitaux, les types d’assurance, les groupes linguistiques ou les sous-types de maladie.

Plusieurs indicateurs d’équité en matière d’IA sont couramment utilisés :

• Parité démographique : Un modèle satisfait à la parité démographique lorsque les taux de prédiction positifs sont similaires entre les groupes. Lors d'une présélection de candidats, cela signifie que différents groupes avancent à des rythmes similaires. Cela peut être utile pour détecter des impacts disparates, mais cela ne tient pas compte des différences de qualification ou de répartition des risques sous-jacentes.
• Égalité des chances et probabilités équilibrées : L'égalité des chances vise à assurer l'égalité des taux de vrais positifs entre les groupes. Les probabilités équilibrées étendent ce principe à la fois aux taux de vrais positifs et aux taux de faux positifs. Ces métriques sont souvent utiles lorsque le coût d'un faux négatif ou d'une fausse alarme diffère selon les groupes.
• Calibrage au sein des groupes : Un modèle est calibré au sein de groupes lorsqu’une probabilité prédite a la même signification pour chaque groupe. Si deux candidats reçoivent une probabilité de remboursement de 0,8, le taux de remboursement observé devrait être similaire selon les groupes. Le calibrage est particulièrement important dans le scoring de risque, où la sortie est utilisée comme une probabilité plutôt que comme une simple décision binaire.
• Équité contrefactuelle : L'équité contrefactuelle pose la question de savoir si la prédiction du modèle changerait si un attribut protégé changeait, la structure causale pertinente restant par ailleurs inchangée. C'est conceptuellement puissant, mais cela nécessite des hypothèses causales rigoureuses et ne peut pas être réduit à une simple métrique de tableau de bord.

Les mesures d’équité impliquent également des compromis. Des études réalisées par Alexandra Chouldechova et Jon Kleinberg, et coll., ont démontré que les critères d'équité communs ne peuvent être tous respectés en même temps, sauf dans des conditions limitées, surtout lorsque les taux de base diffèrent d'un groupe à l'autre. Cela signifie que la détection des biais n’est pas seulement un exercice de notation technique : les entreprises doivent décider quels critères d’équité correspondent au contexte de la décision, aux exigences légales et aux préjudices qu’elles tentent de réduire.

Des outils peuvent contribuer à rendre ce travail reproductible. AI Fairness 360 (AIF360) est une boîte à outils open source, développée à l’origine par IBM Research, pour examiner, signaler et atténuer les biais tout au long du cycle de vie du ML. Fairlearn aide les professionnels à évaluer et à atténuer les problèmes d’équité dans les systèmes d’IA, notamment grâce à des indicateurs et des algorithmes d’atténuation. L’outil What-If de Google et PAIR permet aux équipes de tester le comportement des modèles en fonction des entrées, des sous-ensembles et des indicateurs d’équité. Les outils d’attribution des fonctionnalités, tels que SHAP, peuvent également aider les équipes à examiner quelles variables influencent les prédictions, bien que l’importance des fonctionnalités à elle seule ne prouve pas l’équité.

L'atténuation dépend du point d'entrée du biais dans le système. Certains problèmes nécessitent des modifications des données, d’autres nécessitent des modifications du modèle, d’autres nécessitent des changements de seuil ou de politique et d’autres nécessitent un examen organisationnel avant d’utiliser un modèle.

Interventions de prétraitement

Les techniques de prétraitement modifient les données d’entraînement avant l’entraînement du modèle. Les équipes peuvent rééquilibrer les exemples afin que les groupes sous-représentés aient plus d'influence, rééchantillonner les données pour équilibrer la représentation des sous-groupes, utiliser l'augmentation des données pour ajouter des exemples de groupes sous-représentés, ou apprendre des représentations équitables qui réduisent la capacité du modèle à encoder des attributs protégés.

Ces techniques peuvent être utiles lorsque l'ensemble de données est déséquilibré ou lorsque certains groupes sont insuffisamment représentés, mais elles ne résolvent pas tous les problèmes. Si l'étiquette elle-même est biaisée, le rééchantillonnage de la table ne corrigera pas la signification de la variable cible.

Interventions en cours de traitement

Les techniques en cours de traitement modifient l'entraînement du modèle. Une équipe peut ajouter des contraintes d'équité à la fonction de perte, utiliser un débiaisage adversarial pour réduire le signal des attributs protégés dans les représentations apprises, ou recourir à une approche par réductions qui transforme l'apprentissage sous contraintes d'équité en une série de problèmes de classification sensibles aux coûts.

Ces méthodes sont utiles lorsqu’il faut optimiser l’équité et la précision pendant l’entraînement. Elles exigent également que les équipes choisissent explicitement une contrainte d'équité, car l'optimisation en faveur de la parité démographique peut produire un comportement différent de l'optimisation en faveur de l'égalité des chances.

Interventions post-traitement

Les techniques de post-traitement ajustent les résultats des modèles après l’entraînement. Une équipe peut utiliser un ajustement de seuil par groupe pour égaliser certains taux d'erreur, ou appliquer un post-traitement par probabilités équilibrées calibrées pour modifier les prédictions tout en préservant certains aspects du calibrage.

Ces méthodes peuvent être pratiques lorsqu’un modèle est déjà entraîné ou lorsque les équipes n’ont pas accès au pipeline d’entraînement complet. Elles nécessitent également une gouvernance rigoureuse, car les différents seuils par groupe peuvent soulever des questions juridiques, éthiques et de communication selon les domaines.

Interventions sur les pipelines de données

De nombreux problèmes de biais sont des problèmes de pipeline de données. Les équipes peuvent avoir besoin de corriger des étiquettes, d'améliorer les pratiques de collecte, de documenter le lignage, d'auditer des variables proxy ou d'ajouter des attributs de sous-groupe manquants pour les tests en accès contrôlé. Une table utilisé pour l'entraînement des modèles doit indiquer d'où vient l'étiquette, quelles transformations ont créé chaque caractéristique, comment la fraîcheur est supervisée et qui est responsable des exceptions de qualité.

Si les équipes ne peuvent pas remonter à la source d’une caractéristique, identifier si un attribut protégé ou un proxy a été utilisé ou reproduire les données d’entraînement utilisées pour une version du modèle, elles ne peuvent pas expliquer ou atténuer de manière fiable les biais.

Interventions organisationnelles

L’atténuation des biais dépend également de l’implication humaine. Diverses équipes d’évaluation, la consultation des parties prenantes, l’évaluation éthique de l’IA, les déclarations d'impact des biais et les procédures d'escalade aident les entreprises à évaluer les dommages qui n'apparaissent pas dans les seules métriques du modèle.

Pour les systèmes à fort impact, les équipes doivent documenter l’utilisation prévue, les populations touchées, les limites connues, les critères d’équité, les décisions d’atténuation et le plan de supervision. L’objectif n’est pas de prétendre que les biais ont été éliminés. Il s’agit de montrer que l’entreprise a identifié des risques plausibles, les a testés, a choisi des contrôles appropriés et a conservé des preuves pour examen.

Les régulateurs attendent de plus en plus des organisations qu'elles montrent comment elles testent, documentent et gouvernent les décisions algorithmiques, notamment dans les domaines à fort impact tels que l'emploi, le crédit, le logement, la santé, l'éducation et autres.

Le Règlement européen sur l'IA (EU AI Act) exige que les systèmes d'IA à haut risque utilisant des données d'entraînement, de validation et de test satisfassent aux exigences de gouvernance et de qualité des données. L’article 10 traite de la collecte, de la préparation, de la pertinence, de la représentativité, des erreurs, de l’exhaustivité, des biais et de l’objectif visé par le système.

Aux États-Unis, les lois antidiscrimination existantes sont toujours applicables lorsqu’une décision est basée sur des algorithmes. La loi sur l'égalité des chances en matière de crédit (Equal Credit Opportunity Act), le titre VII et la loi sur l'équité en matière de logement (Fair Housing Act) peuvent s'appliquer lorsque les systèmes automatisés ont une incidence sur les décisions en matière de crédit, d'emploi ou de logement. En ce qui concerne le recrutement assisté par l’IA, la Commission pour l’égalité des chances en matière d’emploi (Equal Employment Opportunity Commission) a fourni une assistance technique expliquant comment les outils de sélection de l’emploi peuvent soulever des préoccupations en matière d’impacts disparates au titre VII.

Des textes réglementaires nationaux et sectoriels renforcent les exigences de gouvernance de l’IA de façon plus explicite. En France, la loi pour une République numérique impose des obligations de transparence sur les algorithmes utilisés dans les décisions administratives. La CNIL a publié des recommandations précisant comment les outils algorithmiques de recrutement et d'évaluation des candidats doivent respecter les droits des personnes concernées, notamment en matière de transparence, d'explication des décisions et de possibilité de contestation. Le Défenseur des droits a par ailleurs émis des recommandations sur la discrimination algorithmique dans l'emploi.

Pour les entreprises, les exigences de conformité en matière d'IA pointent vers le même modèle opérationnel : évaluations d'impact, audits de biais, preuves d'actions défavorables, documentation des modèles, supervision et responsabilité claire pour les décisions qui affectent les personnes concernées.

L’atténuation des biais algorithmiques et la gestion des risques dépendent d’une stratégie data et d’IA gouvernée. Les équipes doivent savoir quelles données ont été utilisées pour l'entraînement, quelles colonnes peuvent contenir des attributs protégés ou des variables proxy, quelles transformations ont créé des caractéristiques du modèle, quelle version du modèle a produit une sortie et quels dispositifs de contrôle limitent l'exposition aux données sensibles.

Snowflake fournit des fonctionnalités qui peuvent prendre en charge ce flux de travail dans le AI Data Cloud. Snowflake Horizon Catalog aide les entreprises à classer les données sensibles, à appliquer des tags, à mettre en œuvre un contrôle d'accès, à protéger les champs sensibles avec Dynamic Data Masking et à appliquer des politiques d'accès aux lignes. Ces dispositifs de contrôle sont utiles pour les processus d'audit des biais, car les attributs protégés doivent souvent être disponibles pour des tests contrôlés, tout en restant inaccessibles dans le cadre du développement général des modèles ou de l'utilisation métier.

Snowpark ML et Cortex AI peuvent prendre en charge les flux de travail de détection des biais directement à partir des données d’entraînement, de validation et d’inférence dans Snowflake, y compris les flux de travail qui utilisent des bibliothèques open source telles que Fairlearn ou AIF360 le cas échéant. Garder ce travail à proximité des données gouvernées permet de réduire les mouvements inutiles d’attributs sensibles, de prédictions et de résultats d’évaluation.

Snowflake Model Registry permet aux équipes de gérer les modèles et les métadonnées associées dans Snowflake, et son API prend en charge les métriques liées aux versions des modèles. Les équipes peuvent enregistrer les métriques de sous-groupes en plus des métriques de performance standard, de sorte qu'une version de modèle n'est pas évaluée uniquement sur la base de l'exactitude agrégée ou du score F1. Snowflake ML Observability prend également en charge la supervision des modèles de production selon des axes tels que les performances, la dérive et le volume.

L'historique des accès et les politiques de masquage, fondées sur les tags, peuvent contribuer à préserver l'auditabilité tout en limitant l'exposition. L'historique des accès Snowflake enregistre des opérations telles que des mises à jour de politiques et des modifications de tags, tandis que les politiques de masquage fondées sur les tags peuvent automatiquement protéger les colonnes taguées qui contiennent des données sensibles. Pour la gouvernance des biais, cela signifie que les équipes peuvent associer des dispositifs de contrôle aux objets de données utilisés dans les processus d'IA, retracer qui a accédé aux attributs sensibles et conserver des preuves pour les examens de modèles, les audits et les enquêtes réglementaires.

Les biais algorithmiques sont souvent découverts dans la sortie d'un modèle, mais ils commencent généralement plus tôt : dans la table sélectionnée pour l'entraînement, l'étiquette choisie comme vérité terrain, la variable proxy qui semblait pratique, le benchmark qui a manqué un sous-groupe ou le contexte de déploiement qui a changé après validation. Pour faire face à ces risques, la responsabilité algorithmique est nécessaire : les organisations doivent pouvoir retracer les décisions à travers les données, les modèles et les processus, et démontrer comment les résultats ont été produits et gouvernés.

Pour réduire les biais, les entreprises doivent disposer de données gouvernées, d'un lignage documenté, d'un accès contrôlé aux attributs protégés, d'une évaluation des sous-groupes, de preuves des versions du modèle, d'une supervision et d'un processus d'examen qui puisse relier les constats techniques aux décisions juridiques, éthiques et opérationnelles. En ce sens, l’atténuation des biais algorithmiques n’est pas une correction ponctuelle du modèle. Il s’agit d’une pratique de gouvernance de l’IA qui suit le système, de la collecte des données au déploiement et à l’audit.