Sesgo algorítmico: tipos, detección y técnicas de mitigación

Ahora que la inteligencia artificial se está integrando en flujos de trabajo de gran impacto, como las decisiones crediticias, la puntuación de riesgo clínico y la selección de personal, el sesgo algorítmico se ha convertido en un riesgo operativo con consecuencias legales, éticas y reputacionales. El modelo aplica un patrón aprendido a una decisión que afecta al acceso, las oportunidades o el tratamiento.

El sesgo algorítmico se produce cuando esos patrones aprendidos generan resultados sistemáticamente injustos para determinados grupos. Los problemas suelen originarse en los datos de entrenamiento, las etiquetas, las variables proxy, las funciones objetivo o el contexto de implementación que determinan qué aprende el modelo y cómo se utilizan sus resultados. Las organizaciones necesitan gobernanza de datos, evaluación de modelos, monitorización y responsabilidad humana para comprender dónde entra el sesgo en el sistema y qué controles pueden reducir su impacto. Estas prácticas son fundamentales para una IA responsable, en la que los sistemas se diseñan, evalúan y gobiernan teniendo en cuenta la equidad, la responsabilidad y la gestión de riesgos.

El sesgo algorítmico es un error sistemático en un sistema de IA o de aprendizaje automático (ML) que genera ventajas o desventajas injustas para determinados grupos. El grupo afectado puede definirse mediante un atributo protegido, como la raza, el género, la edad o la discapacidad, pero el sesgo también puede aparecer a través de una variable proxy que sustituya a un atributo protegido, como el código postal, el centro educativo, el patrón de ingresos, el coste de la atención sanitaria o el historial laboral.

Esto es distinto del error aleatorio, donde los errores se distribuyen de forma aproximadamente uniforme entre los grupos. Un modelo de fraude que no detecta transacciones en proporciones similares en todos los segmentos de clientes puede tener un problema de precisión, pero no necesariamente de equidad. Un modelo que genera tasas de falsos positivos más altas para un subgrupo, aunque su precisión general parezca aceptable, plantea un problema distinto: la métrica media oculta problemas de rendimiento relacionados con ese subgrupo concreto.

El sesgo algorítmico también es más amplio que el sesgo estadístico, un término técnico que suele referirse a la diferencia entre el valor esperado de un estimador y el valor real que intenta estimar. En la IA aplicada, el sesgo algorítmico incluye el contexto social y operativo que rodea al modelo: qué representan los datos de entrenamiento, qué miden las etiquetas, qué objetivo optimiza el modelo y cómo utilizan las personas el resultado.

El sesgo puede ser intencionado, no intencionado o emergente. Un modelo puede reflejar una regla discriminatoria intencionada, pero es más frecuente que aprenda a partir de datos históricos condicionados por un acceso desigual, mediciones incoherentes o procesos institucionales que nunca se diseñaron para su reutilización algorítmica. Por ejemplo, una tabla de decisiones de contratación anteriores puede parecer un conjunto de datos empresariales neutros hasta que un modelo la utiliza para reproducir patrones creados por redes de contratación, prácticas de promoción o criterios de selección anteriores que favorecían a unos candidatos frente a otros, lo que constituye un ejemplo de sesgo no intencionado. En otros casos, el sesgo puede surgir incluso sin datos de entrada sesgados ni reglas explícitas, ya que las interacciones entre variables generan resultados sistemáticamente desiguales.

El sesgo algorítmico puede introducirse en casi cualquier punto del ciclo de vida de la IA, desde la recopilación de datos hasta la implementación del modelo. Las organizaciones deben ser capaces de identificar no solo si el modelo contiene sesgos, sino también dónde se originan y qué controles pueden abordarlos.

Sesgo histórico

El sesgo histórico aparece cuando los datos de entrenamiento reflejan discriminaciones o tratos desiguales del pasado. Un modelo de préstamos entrenado con aprobaciones históricas de hipotecas puede aprender patrones condicionados por la discriminación hipotecaria por zonas, las desigualdades patrimoniales o prácticas de evaluación de riesgos anteriores. Aunque se eliminen los atributos protegidos, variables relacionadas como el barrio, la estabilidad de los ingresos o el historial crediticio pueden perpetuar el sesgo.

Esto es importante porque una predicción histórica “precisa” no siempre se traduce en decisiones futuras equitativas. Un modelo puede aprender fielmente del pasado y aun así generar resultados que una organización no debería repetir.

Sesgo de representación

El sesgo de representación se produce cuando algunos grupos están infrarrepresentados en los datos de entrenamiento. Cuando un modelo dispone de menos ejemplos de un subgrupo, normalmente tiene menos información para aprender los patrones aplicables a dicho subgrupo.

Los sistemas de análisis facial ofrecen un ejemplo muy conocido. En el estudio “Gender Shades”, las investigadoras Joy Buolamwini y Timnit Gebru descubrieron que los sistemas comerciales de clasificación de género ofrecían resultados mucho mejores para los hombres de piel clara que para las mujeres de piel oscura, y que las tasas más altas de clasificación errónea correspondían a estas últimas.

Estas diferencias de precisión pueden resultar especialmente perjudiciales cuando el reconocimiento facial se utiliza en el ámbito policial: en Detroit, Porcha Woodruff, una mujer negra embarazada de ocho meses, fue detenida después de que una tecnología de reconocimiento facial la identificara como posible coincidencia en una investigación por robo de vehículo; posteriormente, el caso fue desestimado.

Sesgo de medición

El sesgo de medición se produce cuando una característica o una etiqueta no mide realmente el concepto que debe representar. Por ejemplo, las tasas de detenciones no miden los índices de delincuencia. También reflejan patrones de actuación policial, prácticas de denuncia y prioridades en la aplicación de la ley. El gasto sanitario no mide las necesidades de salud. Refleja el acceso a la atención sanitaria, la cobertura del seguro, la capacidad de pago y el comportamiento a la hora de buscar atención médica.

Esta distinción fue fundamental en un estudio publicado en Science en 2019 por Ziad Obermeyer y otros coautores, que detectó sesgo racial en un algoritmo de riesgo sanitario ampliamente utilizado porque el modelo empleaba el coste de la atención sanitaria como variable proxy de las necesidades de salud. Con la misma puntuación de riesgo, los pacientes negros solían estar más enfermos que los blancos, ya que el acceso desigual a la atención sanitaria implicaba que históricamente se había gastado menos dinero en su atención.

Sesgo de agregación

El sesgo de agregación aparece cuando se aplica un único modelo a poblaciones heterogéneas aunque los distintos subgrupos presenten patrones subyacentes diferentes. Por ejemplo, un único modelo clínico puede ofrecer un rendimiento deficiente si los biomarcadores, el riesgo basal o la manifestación de la enfermedad difieren entre grupos étnicos, grupos de edad o entornos asistenciales.

El problema no es que cada subgrupo necesite un modelo independiente. El problema es que las organizaciones deben comprobar si el modelo compartido se ajusta a la población a la que presta servicio. Sin una evaluación por subgrupos, el modelo puede parecer aceptable de media y, al mismo tiempo, fallar con las personas menos representadas al agregar los datos.

Sesgo de evaluación

El sesgo de evaluación se produce cuando los valores de referencia o los datos de prueba no reflejan la población en la que se implementará el modelo. Un modelo entrenado y probado con la población de pacientes de un hospital, el conjunto de candidatos de una empresa o los datos financieros de una región puede mostrar buenos resultados de validación y comportarse de forma distinta cuando se implementa en otro lugar.

Por eso, la evaluación del modelo debe incluir segmentos específicos del entorno de implementación. Por ejemplo, un modelo de fraude entrenado con una línea de productos no debe evaluarse únicamente sobre la base de la precisión y la sensibilidad globales si se va a utilizar en regiones, segmentos de clientes y canales de transacción con distintos patrones de comportamiento.

Sesgo de implementación

El sesgo de implementación se produce cuando un modelo se utiliza en un contexto para el que no se diseñó. Una puntuación de riesgo clínico desarrollada para respaldar el flujo de trabajo de asignación de recursos de un hospital puede no funcionar de la misma manera en otro hospital con una demografía de pacientes, prácticas de codificación o itinerarios asistenciales diferentes.

El resultado del modelo puede ser técnicamente correcto en su contexto original, pero resultar engañoso en uno nuevo. Por eso, las decisiones de implementación deben documentar el uso previsto, los usos excluidos, la población de entrenamiento, la población de validación, las limitaciones conocidas y la revisión humana necesaria.

Sesgo de bucle de retroalimentación

El sesgo de bucle de retroalimentación se produce cuando los resultados del modelo condicionan los datos utilizados para entrenar o actualizar modelos futuros. La actuación policial predictiva es el ejemplo clásico: si un modelo envía más policías a un barrio, es posible que se registren allí más incidentes, lo que refuerza la convicción del modelo de que la zona presenta un riesgo mayor.

El mismo patrón puede aparecer en la prevención del fraude, los préstamos, la contratación y la atención sanitaria. Un modelo que deriva a menos candidatos, clientes o pacientes a un proceso puede reducir los datos que estarán disponibles en el futuro sobre esos grupos, lo que hará que la siguiente versión del sistema sea aún menos fiable para ellos.

La detección de sesgos comienza con los datos y continúa durante la evaluación del modelo, la supervisión de la implementación y la auditoría. Un modelo puede superar las pruebas de rendimiento estándar y aun así generar un impacto dispar si los equipos no miden los resultados en los grupos pertinentes.

El análisis del rendimiento por subgrupos es la base. Los equipos comparan exactitud, precisión, sensibilidad, tasas de falsos positivos, tasas de falsos negativos y calibración en distintos segmentos demográficos u otros segmentos pertinentes. En un modelo de contratación, eso podría implicar comparar las tasas de selección por género, raza y grupo de edad. En un modelo clínico, podría implicar medir la sensibilidad entre hospitales, tipos de seguro, grupos lingüísticos o subtipos de enfermedades.

Se suelen utilizar varias métricas de equidad de la IA:

• Paridad demográfica: Un modelo cumple la paridad demográfica cuando las tasas de predicciones positivas son similares entre los distintos grupos. En un proceso de selección de personal, esto significa que los distintos grupos avanzan en proporciones similares. Esto puede resultar útil para detectar un impacto dispar, pero no tiene en cuenta las diferencias subyacentes en cuanto a cualificación o distribución del riesgo.
• Igualdad de oportunidades e igualdad de probabilidades: La igualdad de oportunidades se centra en que las tasas de verdaderos positivos sean iguales entre los distintos grupos. La igualdad de probabilidades amplía este criterio para incluir tanto las tasas de verdaderos positivos como las de falsos positivos. Estas métricas suelen ser útiles cuando el coste de no detectar un positivo o de generar una falsa alarma varía entre los distintos grupos.
• Calibración dentro de los grupos: Un modelo está calibrado dentro de los grupos cuando una probabilidad predicha tiene el mismo significado para cada grupo. Si dos solicitantes reciben una probabilidad de reembolso de 0,8, la tasa de reembolso observada debería ser similar entre los distintos grupos. La calibración es especialmente importante en la puntuación de riesgos, donde el resultado se utiliza como una probabilidad en lugar de como una simple decisión de sí o no.
• Equidad contrafactual: La equidad contrafactual plantea si la predicción del modelo cambiaría al modificar un atributo protegido mientras la estructura causal pertinente permanece igual. Este concepto es muy potente, pero requiere supuestos causales rigurosos y no puede reducirse a una simple métrica de panel.

Las métricas de equidad también implican ciertas contrapartidas. Los estudios de Alexandra Chouldechova y Jon Kleinberg et al. demostraron que los criterios habituales de equidad no pueden cumplirse todos a la vez, salvo en condiciones limitadas, especialmente cuando las tasas base difieren entre los distintos grupos. Esto significa que detectar sesgos no es solo un ejercicio técnico de puntuación: las organizaciones deben decidir qué criterios de equidad se ajustan al contexto de la decisión, los requisitos legales y los perjuicios que intentan reducir.

Las herramientas pueden ayudar a que este trabajo sea reproducible. AI Fairness 360 (AIF360) es un conjunto de herramientas de código abierto, desarrollado originalmente por IBM Research, para examinar, documentar y mitigar los sesgos durante todo el ciclo de vida del ML. Fairlearn ayuda a los profesionales a evaluar y mitigar problemas de equidad en los sistemas de IA, entre otras cosas mediante métricas y algoritmos de mitigación. What-If Tool de PAIR y Google permite a los equipos probar el comportamiento de los modelos con distintas entradas, subconjuntos y métricas de equidad. Las herramientas de atribución de características, como SHAP, también pueden ayudar a los equipos a analizar qué variables influyen en las predicciones, aunque la importancia de las características por sí sola no demuestra la equidad.

La mitigación depende del punto por el que el sesgo se introduce en el sistema. Algunos problemas requieren cambios en los datos; otros, cambios en el modelo; otros, cambios en los umbrales o las políticas; y algunos exigen una revisión organizativa antes de utilizar el modelo.

Intervenciones de preprocesamiento

Las técnicas de preprocesamiento modifican los datos de entrenamiento antes de entrenar el modelo. Los equipos pueden volver a ponderar los ejemplos para dar más peso a los grupos infrarrepresentados, volver a muestrear los datos para equilibrar la representación de los subgrupos, utilizar el aumento de datos para añadir ejemplos de grupos infrarrepresentados o aprender representaciones equitativas que reduzcan la capacidad del modelo para codificar atributos protegidos.

Estas técnicas pueden resultar útiles cuando el conjunto de datos está desequilibrado o ciertos grupos tienen poca representación, pero no resuelven todos los problemas. Si la propia etiqueta presenta sesgos, volver a muestrear la tabla no corregirá el significado de la variable objetivo.

Intervenciones durante el procesamiento

Las técnicas durante el procesamiento modifican el entrenamiento del modelo. Un equipo puede añadir restricciones de equidad a la función de pérdida, utilizar la eliminación adversarial de sesgos para reducir la señal de los atributos protegidos en las representaciones aprendidas o adoptar un enfoque de reducciones que convierta el aprendizaje sujeto a restricciones de equidad en una secuencia de problemas de clasificación sensibles a los costes.

Estos métodos son útiles cuando es necesario optimizar la equidad junto con la exactitud durante el entrenamiento. También exigen que los equipos elijan explícitamente una restricción de equidad, ya que optimizar la paridad demográfica puede generar un comportamiento diferente al de optimizar la igualdad de oportunidades.

Intervenciones de posprocesamiento

Las técnicas de posprocesamiento ajustan los resultados del modelo después del entrenamiento. Un equipo puede ajustar el umbral de cada grupo para igualar determinadas tasas de error o aplicar un posprocesamiento de igualdad de probabilidades calibrada para cambiar las predicciones y, al mismo tiempo, conservar ciertos aspectos de la calibración.

Estos métodos pueden resultar prácticos cuando un modelo ya está entrenado o cuando los equipos no tienen acceso al pipeline de entrenamiento completo. También requieren una gobernanza rigurosa, ya que utilizar umbrales distintos por grupo puede plantear cuestiones legales, éticas y de comunicación en función del ámbito.

Intervenciones en el pipeline de datos

Muchos problemas de sesgo son problemas del pipeline de datos. Es posible que los equipos deban corregir las etiquetas, mejorar las prácticas de recopilación, documentar el linaje, auditar las variables proxy o añadir los atributos de subgrupos que falten para realizar pruebas con un acceso controlado. Una tabla utilizada para entrenar un modelo debería mostrar de dónde procede la etiqueta, qué transformaciones crearon cada característica, cómo se supervisa el grado de actualización y quién es responsable de las excepciones de calidad.

Si los equipos no pueden rastrear una característica hasta su origen, determinar si se utilizó un atributo protegido o una variable proxy, o reproducir los datos de entrenamiento utilizados para una versión del modelo, no podrán explicar ni mitigar el sesgo de forma fiable.

Intervenciones organizativas

La mitigación de sesgos también depende de la intervención humana. Equipos de revisión diversos, la consulta con las partes interesadas, la revisión de la ética de la IA, las declaraciones de impacto de los sesgos y las vías de escalado ayudan a las organizaciones a evaluar perjuicios que no se reflejan únicamente en las métricas del modelo.

En los sistemas de alto impacto, los equipos deberían documentar el uso previsto, las poblaciones afectadas, las limitaciones conocidas, los criterios de equidad, las decisiones de mitigación y el plan de supervisión. El objetivo no es afirmar que se ha eliminado el sesgo. Se trata de demostrar que la organización identificó riesgos plausibles, realizó pruebas para detectarlos, eligió controles adecuados y conservó pruebas para su revisión.

Los organismos reguladores esperan cada vez más que las organizaciones demuestren cómo prueban, documentan y gobiernan las decisiones algorítmicas, especialmente en ámbitos de alto impacto como el empleo, el crédito, la vivienda, la atención sanitaria y la educación, entre otros.

La Ley de IA de la UE exige que los sistemas de IA de alto riesgo que utilizan datos de entrenamiento, validación y prueba cumplan los requisitos de gobernanza de datos y calidad de los datos. El artículo 10 aborda la recopilación, preparación, pertinencia, representatividad, presencia de errores e integridad de los datos, así como los sesgos y la finalidad prevista del sistema.

En EE. UU., las leyes vigentes contra la discriminación siguen siendo aplicables cuando una decisión es algorítmica. La ley Equal Credit Opportunity Act, Título VII, y la ley Fair Housing Act son aplicables cuando los sistemas automatizados afectan a decisiones sobre crédito, empleo o vivienda. En el caso de la contratación asistida por IA, la Comisión para la Igualdad de Oportunidades en el Empleo ha publicado orientaciones técnicas que explican cómo las herramientas de selección de personal pueden suscitar inquietudes sobre el impacto dispar en virtud del Título VII.

Las normas estatales y locales más recientes añaden requisitos más explícitos de gobernanza de la IA. La Ley Local 144 de la ciudad de Nueva York prohíbe a las empresas y agencias de empleo utilizar herramientas automatizadas para la toma de decisiones en materia de empleo, a menos que las herramientas se hayan sometido a una auditoría de sesgos durante el año anterior, la información de la auditoría esté disponible públicamente y se hayan enviado los avisos obligatorios a los candidatos o empleados. La ley Colorado AI Act (CAIA) exige que los desarrolladores y responsables del despliegue de sistemas de IA de alto riesgo actúen con una diligencia razonable para proteger a los consumidores frente a riesgos conocidos o razonablemente previsibles de discriminación algorítmica. Estos requisitos entrarán en vigor el 1 de febrero de 2026.

Para las organizaciones, los requisitos de cumplimiento de la IA apuntan al mismo modelo operativo: evaluaciones de impacto, auditorías de sesgos, pruebas de acción adversa, documentación de modelos, supervisión y una asignación clara de responsabilidades por las decisiones que afectan a las personas.

La mitigación del sesgo algorítmico y la gestión de riesgos dependen de un fundamento de datos gobernados y de IA. Los equipos necesitan saber qué datos se utilizaron para el entrenamiento, qué columnas pueden contener atributos protegidos o variables proxy, qué transformaciones crearon las características del modelo, qué versión del modelo generó un resultado y qué controles limitan la exposición de los datos confidenciales.

Snowflake ofrece capacidades que pueden respaldar este flujo de trabajo dentro del AI Data Cloud. Snowflake Horizon Catalog ayuda a las organizaciones a clasificar datos confidenciales, aplicar etiquetas, aplicar el control de acceso, proteger los campos sensibles mediante el enmascaramiento de datos dinámico y aplicar políticas de acceso a filas. Estos controles resultan útiles para los flujos de trabajo de auditoría de sesgos, ya que a menudo es necesario disponer de los atributos protegidos para realizar pruebas controladas y, al mismo tiempo, restringirlos en el desarrollo general de modelos o para su uso empresarial.

Snowpark ML y Cortex AI pueden respaldar flujos de trabajo de detección de sesgos directamente sobre los datos de entrenamiento, validación e inferencia en Snowflake, incluidos aquellos que utilizan bibliotecas de código abierto como Fairlearn o AIF360 cuando corresponda. Mantener este trabajo cerca de los datos gobernados ayuda a reducir el movimiento innecesario de atributos sensibles, predicciones y resultados de evaluación.

Snowflake Model Registry permite a los equipos gestionar modelos y sus metadatos asociados en Snowflake; su API admite métricas vinculadas a las versiones de los modelos. Los equipos pueden registrar las métricas de los subgrupos junto con las métricas de rendimiento estándar, de modo que una versión del modelo no se evalúe únicamente mediante la exactitud o la puntuación F1 agregadas. Snowflake ML Observability también permite supervisar los modelos en producción en dimensiones como el rendimiento, la degradación y el volumen.

El historial de acceso, las políticas de enmascaramiento y las políticas de enmascaramiento basado en etiquetas pueden ayudar a preservar la auditabilidad y, al mismo tiempo, limitar la exposición. El historial de acceso de Snowflake registra operaciones como las actualizaciones de políticas y los cambios en las etiquetas, mientras que las políticas de enmascaramiento basado en etiquetas pueden proteger automáticamente las columnas etiquetadas que contienen datos confidenciales. Para la gobernanza del sesgo, esto significa que los equipos pueden aplicar controles a los objetos de datos utilizados en los flujos de trabajo de IA, rastrear quién ha accedido a atributos sensibles y conservar pruebas para revisiones de modelos, auditorías y consultas de organismos reguladores.

El sesgo algorítmico se detecta a menudo en los resultados de un modelo, pero su origen suele ser anterior: en la tabla seleccionada para el entrenamiento, la etiqueta elegida como valor de referencia, la variable proxy que parecía conveniente, el conjunto de referencia que no tuvo en cuenta a un subgrupo o el contexto de implementación que cambió después de la validación. Para abordar estos riesgos se requiere responsabilidad algorítmica, de modo que las organizaciones puedan rastrear las decisiones a través de los datos, los modelos y los procesos, y demostrar cómo se generaron y gobernaron los resultados.

Para reducir el sesgo, las organizaciones deben contar con datos gobernados, un linaje documentado, acceso controlado a los atributos protegidos, evaluación de subgrupos, pruebas vinculadas a las versiones de los modelos, supervisión y un proceso de revisión que permita relacionar los hallazgos técnicos con las decisiones jurídicas, éticas y operativas. En este sentido, la mitigación del sesgo algorítmico no consiste en corregir una sola vez un modelo. Es una práctica de gobernanza de la IA que acompaña al sistema desde la recopilación de datos hasta la implementación y la auditoría.