Ética de la IA: principios que determinan el desarrollo de una IA responsable

Cuando un sistema de IA llega a producción, ya se han tomado muchas decisiones éticas. Se han seleccionado los datos de entrenamiento, se ha definido el objetivo, se han elegido las métricas de evaluación y se ha aprobado la vía de acceso. Puede existir o no un proceso de contingencia.

La ética de la IA permite a los equipos examinar esas decisiones antes de que queden integradas en la arquitectura. Plantea si el sistema respeta la autonomía humana, distribuye de forma justa los beneficios y perjuicios, minimiza los daños previsibles, protege la privacidad y aporta pruebas suficientes para que una persona comprenda o impugne un resultado.

La ética de la IA es el campo interdisciplinar que examina los principios morales que orientan el diseño, el desarrollo y la implementación de los sistemas de IA. Se nutre de la ética aplicada, la bioética, la informática, el derecho, los derechos humanos y las ciencias sociales para evaluar cómo afectan los sistemas de IA a las personas, las organizaciones y la sociedad.

Plantea varias preguntas fundamentales:

• ¿Debe una persona poder rechazar una decisión basada en IA? 

• ¿Qué tipos de daños debe evaluar un equipo antes de la implementación? 

• ¿Quién tiene la responsabilidad moral cuando un modelo recomienda una acción, pero un proceso empresarial la ejecuta? 

• ¿Qué concesiones son aceptables cuando la precisión, la privacidad, la equidad, la seguridad y la transparencia apuntan en direcciones distintas?

La ética de la IA está relacionada con la IA responsable, la gobernanza de la IA y el cumplimiento de la IA.

La ética de la IA define los principios. Establece los principios normativos que debe respetar un sistema, como la autonomía, la beneficencia, la no maleficencia, la justicia y la explicabilidad.

La IA responsable define el modelo operativo. Convierte esos principios en prácticas como las evaluaciones de impacto, las auditorías de sesgos, las operaciones de equipos rojos (o red-teaming), la documentación y la revisión humana.

La gobernanza de la IA define la estructura. Asigna responsables, políticas, controles, aprobaciones y procesos de supervisión para que las prácticas de IA responsable se apliquen de forma coherente.

El cumplimiento de la IA define el conjunto de obligaciones. Vincula los sistemas de IA, los usos de los datos y los procesos operativos con las leyes, normativas, estándares y políticas internas aplicables, y después genera las pruebas necesarias para demostrar que se cumplen esos requisitos.

La ética de la IA precede a la IA responsable, la gobernanza y el cumplimiento. Proporciona a las organizaciones una base sólida para decidir qué significa actuar “bien” en un contexto específico de IA. A continuación, las prácticas operativas de gobernanza y cumplimiento determinan cómo se aplican esas decisiones.

Descubre qué opinan sobre la ética de la IA Christian Kleinerman, EVP of Product de Snowflake, y Jennifer Belissent, Principal Data Strategist de Snowflake:

Muchos debates sobre la ética de la IA se basan en principios muy anteriores a la IA moderna, sobre todo en los principios bioéticos utilizados para evaluar decisiones médicas, prácticas de investigación y obligaciones institucionales. El conocido marco de Luciano Floridi y Josh Cowls identifica cinco principios fundamentales para la IA en la sociedad: beneficencia, no maleficencia, autonomía, justicia y explicabilidad. Los cuatro primeros proceden de la bioética, mientras que la explicabilidad se añadió para responder a la necesidad de comprender los sistemas de IA y atribuir responsabilidades.

Autonomía

La autonomía implica respetar la capacidad de acción de las personas. En los sistemas de IA, esto puede implicar informar de forma clara, mantener una vía de exclusión voluntaria, exigir una revisión humana para las decisiones de gran trascendencia o impedir que la automatización limite sin explicación las opciones disponibles para una persona.

Por ejemplo, un modelo de selección de personal puede clasificar a los candidatos a partir de indicadores históricos de rendimiento, pero la autonomía exige algo más que una clasificación técnicamente precisa. Una persona candidata no debe quedar reducida a una puntuación sin posibilidad de corregir datos erróneos, solicitar que se reconsidere la decisión o entender el impacto del sistema en su oportunidad.

Beneficencia

La beneficencia implica que los sistemas de IA deben aportar beneficios. Estos pueden traducirse en un mejor acceso, un servicio más rápido, una mayor productividad, una detección más eficaz o decisiones más coherentes. Un modelo que ayude al personal clínico a detectar carencias asistenciales, dirija las solicitudes de clientes al equipo adecuado o facilite el acceso a los servicios públicos puede cumplir objetivos de beneficencia si el beneficio es real, medible y llega a las personas afectadas.

En la práctica, la beneficencia debe tener en cuenta las consecuencias imprevistas: los equipos pueden evaluar si el sistema mejora los resultados respecto al proceso que sustituye o complementa. Sin embargo, un sistema puede aumentar la eficiencia general y, al mismo tiempo, concentrar el riesgo en un grupo más reducido de personas. Por eso, la beneficencia debe equilibrarse con los demás principios.

No maleficencia

La no maleficencia suele resumirse en la máxima “lo primero es no hacer daño”. En el caso de la IA, el daño puede ser físico, económico, psicológico, reputacional o social. Puede deberse a una recomendación poco segura, una puntuación discriminatoria, un conjunto de datos expuesto, un modelo poco fiable en un flujo de trabajo de alto riesgo o un chatbot que ofrece instrucciones categóricas fuera de su ámbito previsto.

La no maleficencia exige que los equipos identifiquen los daños previsibles antes de la implementación y supervisen los que surjan en producción. Esto incluye fallos del modelo, usos indebidos, dependencia excesiva, vulneraciones de seguridad y efectos posteriores que quizá no aparezcan en un conjunto de datos de prueba.

Justicia

La justicia se refiere a la distribución equitativa de beneficios y perjuicios. Un sistema de IA no debe perjudicar sistemáticamente a un grupo debido a atributos protegidos, variables proxy, una calidad desigual de los datos o patrones históricos presentes en los datos de entrenamiento.

Este principio está directamente relacionado con el sesgo algorítmico. Un modelo de detección de fraude puede ofrecer buenos resultados en general, pero generar tasas más altas de falsos positivos en determinados segmentos de clientes. Un modelo sanitario puede subestimar el riesgo de grupos que históricamente han recibido una atención insuficiente. La justicia exige evaluar los distintos subgrupos, no solo la precisión del sistema en su conjunto.

Explicabilidad

La explicabilidad implica que los sistemas de IA deben ser lo bastante comprensibles como para que las personas puedan evaluarlos, impugnarlos y gobernarlos. Incluye la explicabilidad, es decir, cómo ha llegado el sistema a un resultado, y la responsabilidad, es decir, quién es responsable de su funcionamiento.

En un motor de recomendaciones de bajo riesgo, la explicabilidad puede requerir información general y unos informes de rendimiento interpretables. En decisiones crediticias, laborales, sanitarias o del sector público, puede requerir documentación más detallada, explicaciones sobre las decisiones, vías de recurso y registros de auditoría.

A medida que los sistemas de IA han pasado de los entornos de investigación a los procesos empresariales, los servicios públicos y los productos de consumo, los marcos éticos se han vuelto más específicos. Siguen basándose en los principios fundamentales anteriores, pero los convierten en controles que pueden aplicar los equipos técnicos, jurídicos, de riesgos y de negocio.

Equidad

La equidad implica que los resultados de la IA no deben discriminar a las personas. Los equipos suelen evaluar la equidad mediante indicadores como la paridad demográfica, la igualdad de oportunidades, la igualdad de probabilidades y la calibración, y después deciden qué métrica se ajusta mejor al propósito y al perfil de riesgo del sistema. Una métrica no sustituye al juicio ético, pero ayuda a detectar si un modelo distribuye los errores de forma desigual.

Transparencia

La transparencia significa que las personas saben cuándo interviene la IA, cuál es la finalidad del sistema, qué datos o señales utiliza y cuáles son sus limitaciones. En los sistemas de IA generativa, la transparencia puede incluir la indicación de que el contenido se ha generado mediante IA, la documentación de las fuentes de recuperación, las fichas de modelos y los resultados de las evaluaciones, así como las limitaciones en torno a la precisión o la exhaustividad.

Responsabilidad

La responsabilidad implica que una persona u organización responde por el comportamiento del sistema. Un modelo puede generar un resultado, pero no puede aprobar su propia implementación, asumir riesgos normativos, explicar un incidente a un cliente ni decidir si debe corregirse un patrón perjudicial. La responsabilidad exige designar responsables, establecer vías de escalado y otorgar autoridad para detener o modificar el sistema.

Privacidad

La privacidad implica reducir al mínimo el uso de datos personales, proteger los atributos sensibles, respetar el consentimiento y limitar los usos secundarios. En los sistemas de IA, la privacidad puede incluir la minimización de datos, controles de acceso, límites al periodo de conservación, anonimización, datos sintéticos o técnicas de privacidad diferencial que reduzcan el riesgo de exponer información sobre personas concretas. 

Seguridad y solidez

La seguridad y la solidez de la IA implican que los sistemas funcionen de manera fiable tanto en condiciones previstas como imprevistas. Los modelos deben someterse a pruebas para detectar modos de fallo, entradas adversarias, degradación, resultados poco seguros y comportamientos ajenos al uso previsto. El National Institute of Standards and Technology (NIST) estadounidense describe las características de una IA fiable que incluyen: validez y fiabilidad; seguridad, protección y resiliencia; responsabilidad y transparencia; explicabilidad e interpretabilidad; mejora de la privacidad; y equidad mediante la gestión de sesgos perjudiciales.

Contestabilidad

La contestabilidad significa que las personas afectadas por sistemas de IA pueden cuestionar las decisiones y solicitar medidas de reparación. Este principio cobra especial importancia cuando la IA influye en el acceso al empleo, el crédito, la vivienda, la atención sanitaria, la educación, las prestaciones públicas u otros resultados de gran trascendencia. Un sistema contestable permite corregir datos, solicitar una revisión humana y entender qué pruebas han determinado el resultado.

Los marcos de ética de la IA varían según la institución, la jurisdicción y la audiencia a la que se dirigen, pero muchos convergen en conceptos similares: derechos humanos, equidad, transparencia, seguridad, responsabilidad y supervisión humana.

Recomendación de la UNESCO sobre ética de la IA

La recomendación de la UNESCO sobre ética de la inteligencia artificial se adoptó en 2021 y, según esta organización, constituye la primera norma mundial sobre ética de la IA. La UNESCO señala que la recomendación se aplica a sus 194 Estados miembros y sitúa en el centro los derechos humanos y la dignidad, con especial atención a la transparencia, la equidad y la supervisión humana.

El marco de la UNESCO es amplio porque aborda la IA como una cuestión social, económica y de derechos humanos, no solo como un asunto técnico de gobernanza. Abarca ámbitos como las políticas públicas, la educación, la cultura, el trabajo, el medioambiente, el género y el desarrollo, por lo que resulta útil para las organizaciones que deben abordar la IA en distintas jurisdicciones y grupos de interés.

Principios de IA de la OCDE

Los principios de IA de la OCDE promueven una IA innovadora, fiable y respetuosa con los derechos humanos y los valores democráticos. Los principios abarcan el crecimiento inclusivo, el desarrollo sostenible y el bienestar; el respeto de los derechos humanos y los valores democráticos, incluida la equidad y la privacidad; la transparencia y la explicabilidad; la solidez, la protección y la seguridad; y la responsabilidad.

Los principios de la OCDE resultan útiles para las organizaciones porque son concisos y están orientados a la formulación de políticas. Establecen un marco normativo para una IA fiable y, al mismo tiempo, dejan margen para tomar decisiones de implementación en función del contexto, el riesgo y el sector.

Directrices éticas para una IA fiable de la UE

Las directrices éticas para una IA fiable de la UE contribuyeron a establecer un enfoque europeo de la IA centrado en sistemas lícitos, éticos y sólidos. Las directrices establecen requisitos como la autonomía y la supervisión humanas; la solidez técnica y la seguridad; la privacidad y la gobernanza de datos; la transparencia, la diversidad y la equidad; el bienestar social y medioambiental; y la responsabilidad.

Las directrices también influyeron en iniciativas normativas posteriores en Europa. La Ley de IA de la UE es un marco jurídico más que un marco ético, pero convierte muchas cuestiones afines a la ética en obligaciones relativas a la gestión de riesgos de la IA, la gobernanza de datos, la transparencia, la supervisión humana y el seguimiento posterior a la comercialización de determinados sistemas de IA.

Serie IEEE 7000

La serie IEEE 7000 se centra en llevar la ética a la práctica en la ingeniería y el diseño de sistemas. Ofrece a los equipos de ingeniería una forma de incorporar valores, inquietudes de los grupos de interés y riesgos éticos a los requisitos del sistema, en lugar de tratar la ética como una revisión externa posterior a las decisiones de diseño.

Esto resulta valioso para los equipos de IA porque muchos fallos éticos tienen su origen en decisiones de producto o arquitectura: qué datos se recopilan, qué resultado se optimiza, qué usuarios quedan fuera de las pruebas, qué registros se conservan y cuántas explicaciones se ofrecen a las personas afectadas.

U.S. Blueprint for an AI Bill of Rights

El U.S. Blueprint for an AI Bill of Rights identifica cinco protecciones para los sistemas automatizados: sistemas seguros y eficaces; protecciones contra la discriminación algorítmica; privacidad de los datos; notificación y explicación; y alternativas humanas, consideración y procesos de recurso.

Este anteproyecto no es una ley federal vinculante, pero articula de forma útil unos principios de IA orientados a la protección de derechos. Resulta especialmente relevante para los equipos que desarrollan sistemas que afectan a la elegibilidad, las oportunidades, el acceso o los servicios esenciales.

Principios corporativos para la IA

Muchas empresas de tecnología han publicado principios de IA que abordan la equidad, la seguridad, la transparencia, la responsabilidad, la privacidad y el beneficio para las personas. Los principios corporativos más útiles son lo bastante específicos como para orientar las decisiones. Por ejemplo, afirmar que “la IA debe ser equitativa” resulta menos útil que establecer una política que exija evaluar los subgrupos antes de la implementación, crear una entrada en el registro de modelos con los casos de uso aprobados, documentar una vía de escalado para resultados perjudiciales y designar a una persona responsable de la corrección con autoridad para detener el sistema.

La ética de la IA solo resulta útil cuando cambia la forma de trabajar de los equipos. Existen diversas prácticas que ayudan a las organizaciones a convertir los principios éticos en una ejecución sistemática.

• Comités de revisión ética: Los sistemas de IA de alto impacto se benefician de una revisión previa a la implementación por parte de un grupo interfuncional capaz de evaluar la finalidad del sistema, los grupos de interés afectados, los daños previsibles y los planes de mitigación. El comité debe incorporar perspectivas técnicas, jurídicas, de seguridad, privacidad, riesgos y negocio, y contar con autoridad expresa para aprobar, rechazar o exigir cambios.

• Evaluaciones de impacto de la IA: Una evaluación de impacto de la IA documenta el uso previsto del sistema, los grupos afectados, las fuentes de datos, los beneficios, los daños, las medidas de mitigación y los riesgos residuales. Ofrece a los equipos un método estructurado para analizar los posibles daños a los grupos de interés antes de la implementación y crear un registro que pueda revisarse cuando cambie el sistema.

• Auditorías de sesgo: Las auditorías de sesgo combinan pruebas estadísticas y revisiones cualitativas. El análisis estadístico puede comparar las tasas de error, los falsos positivos, los falsos negativos o la calibración entre distintos subgrupos. El análisis cualitativo determina si los datos, las etiquetas, el proceso empresarial o la experiencia de usuario generan desventajas que una métrica por sí sola no detectaría. La trazabilidad permite a los equipos vincular los resultados con datos de entrenamiento que podrían estar sesgados o no ser representativos.

• Ejercicios de equipo rojo: Los ejercicios de equipo rojo de IA ponen a prueba los sistemas frente a comportamientos adversarios, poco seguros o imprevistos. En la IA generativa, esto puede incluir inyecciones de prompts, intentos de jailbreak, filtraciones de datos, instrucciones perjudiciales o afirmaciones alucinadas. En la IA predictiva, puede abarcar variaciones en la distribución, intentos de manipulación, casos límite y situaciones de uso indebido.

• Consentimiento del usuario e información transparente: Las personas deben saber cuándo la IA interviene de forma significativa en una decisión, recomendación o interacción. El consentimiento cobra verdadero sentido cuando los usuarios entienden qué hace el sistema, qué datos utiliza y qué alternativas tienen a su disposición.

• Respuesta ante incidentes y corrección: Los fallos éticos requieren procedimientos de respuesta, no solo análisis retrospectivos. Un resultado perjudicial, un patrón de decisión sesgado, una exposición de datos privados o una recomendación poco segura deben activar procesos de clasificación, asignación de responsabilidades, comunicación con los usuarios, corrección y supervisión para evitar que se repitan.

• Formación en ética: Los equipos técnicos necesitan una formación en ética aplicada que vincule los principios con las decisiones de diseño. Una persona que desarrolla un pipeline de recuperación, un científico de datos que selecciona las etiquetas de entrenamiento y un responsable de producto que define las métricas de éxito toman decisiones que pueden afectar a la equidad, la privacidad, la autonomía y la seguridad.

Esta es la esencia de la ética por diseño: la revisión ética se integra en el ciclo de vida de la IA, en lugar de añadirse después de su implementación.

La ética de la IA es compleja porque los distintos grupos de interés pueden valorar de forma diferente los mismos principios y la respuesta adecuada suele depender del contexto. Las organizaciones que intentan implementar prácticas sólidas de ética de la IA se enfrentan a varios retos. 

Pluralismo de valores

El pluralismo de valores implica que las personas y las culturas establecen distintas prioridades entre los valores. Por ejemplo, un sistema que prioriza la privacidad individual puede limitar los datos necesarios para la seguridad colectiva. Un sistema diseñado para ofrecer un acceso amplio puede plantear riesgos para grupos que necesitan mayor protección. Las organizaciones internacionales deben hacer explícitas estas disyuntivas, en lugar de asumir que una única norma cultural o institucional es válida en todas partes.

Conflicto entre principios

Los principios éticos pueden entrar en conflicto entre sí. La beneficencia puede favorecer el uso de más datos para mejorar los resultados, mientras que la privacidad aboga por reducirlos al mínimo. La transparencia puede ayudar a los usuarios a comprender un sistema, mientras que la seguridad puede limitar el nivel de detalle que se divulga sobre su implementación. La seguridad puede exigir restricciones que reduzcan la autonomía de los usuarios. El trabajo ético a menudo consiste en documentar y gestionar estos conflictos, no en eliminarlos.

Blanqueo ético

El blanqueo ético se produce cuando las organizaciones publican principios, pero no velan por su cumplimiento. Una página de principios no impide que un modelo perjudicial llegue a producción si los equipos no definen también controles de revisión, responsables, requisitos de prueba y consecuencias en caso de incumplimiento.

Tensiones específicas de la IA generativa

La IA generativa ha introducido nuevos conflictos éticos en torno a los derechos de autor, el consentimiento, el desplazamiento laboral, la desinformación, los contenidos no seguros y el compromiso entre el acceso abierto y la prevención del uso indebido. La libertad creativa puede entrar en conflicto con los derechos de propiedad intelectual. La disponibilidad de modelos abiertos puede favorecer la investigación y la innovación, pero también aumentar el riesgo de doble uso. La automatización puede mejorar la productividad, pero también transformar los puestos de trabajo más rápido de lo que las organizaciones pueden reciclar profesionalmente a sus empleados.

Deficiencias en la aplicación

La ética de la IA no suele ser exigible por sí sola. Algunas jurisdicciones han empezado a incorporar a la legislación principios afines a la ética, como hace la Ley de IA de la UE con determinados sistemas de IA de alto riesgo. Además, leyes vigentes como el RGPD ya afectan a la toma de decisiones automatizada, la privacidad y el uso de los datos. Sin embargo, muchas obligaciones éticas siguen dependiendo de la gobernanza de las organizaciones, las normas de adquisición, las regulaciones sectoriales y la rendición de cuentas ante la sociedad.

La ética de la IA resulta más fácil de aplicar cuando los principios se vinculan a los controles de la plataforma. Por ejemplo, un equipo que desarrolla un asistente de IA generativa necesita saber qué tablas y columnas puede consultar, qué políticas se aplican a los atributos confidenciales, qué versión del modelo está aprobada, qué controles de seguridad filtran las respuestas que no son seguras y quién puede revisar el linaje cuando se cuestiona un resultado.

El programa de IA responsable de Snowflake ayuda a poner en práctica los compromisos éticos en el desarrollo de IA de Snowflake y ofrece patrones que los clientes pueden aplicar a sus propios workloads de IA. En Snowflake, estos patrones vinculan los principios éticos con la gobernanza, la documentación y los controles del entorno de ejecución.

Cortex Guard está diseñado para ayudar a los equipos a aplicar controles de seguridad a los resultados de los LLM, como el filtrado de determinadas respuestas no seguras o dañinas de los modelos de lenguaje. Cortex AI Guardrails está concebido para ayudar a reducir los riesgos asociados a la inyección de prompts y los ataques de jailbreak en los contextos compatibles.

Snowflake Horizon Catalog proporciona contexto de gobernanza para los workloads de IA. Ayuda a los equipos a gestionar y comprender los activos de datos, incluidos el linaje, las etiquetas, las políticas de enmascaramiento y la clasificación de datos confidenciales. Proporciona contexto y gobernanza para la IA, incluida la clasificación de datos confidenciales, políticas de enmascaramiento basado en etiquetas y el historial de acceso para auditorías.

Snowflake Model Registry favorece la transparencia y la responsabilidad al ayudar a los equipos a gestionar los modelos y sus metadatos en Snowflake. Los propietarios de los modelos pueden gestionar versiones, artefactos y metadatos, mientras que la interfaz de Snowflake muestra metadatos de las versiones de los modelos, como las métricas.

Los principios éticos se aplican de forma más coherente cuando la plataforma puede mostrar los datos pertinentes, aplicar políticas de acceso, documentar el comportamiento de los modelos y proporcionar un registro de auditoría para los workloads de IA. La certificación ISO/IEC 42001 de Snowflake también demuestra la validación externa de su alineación con las nuevas expectativas de gobernanza de la IA.

Para las organizaciones que incorporan la IA a sus productos, operaciones y flujos de trabajo de toma de decisiones, la ética no puede estar separada de la ejecución. Debe determinar qué sistemas siguen adelante, cuáles requieren supervisión humana, qué riesgos deben mitigarse y qué registros deben conservarse cuando clientes, organismos reguladores o responsables de revisiones internas pregunten cómo se tomó una decisión. En última instancia, la credibilidad de los sistemas de IA no dependerá solo de su rendimiento, sino también de la integridad de las decisiones que los sustentan.