Gestión de riesgos de la IA

La gestión de riesgos de la IA comienza con una pregunta práctica: ¿qué podría salir mal cuando un modelo, pipeline de datos, aplicación, prompt, flujo de trabajo o decisión humana se basa en IA? La respuesta rara vez se limita a la precisión del modelo. Un sistema puede utilizar datos obsoletos, exponer campos confidenciales mediante recuperación, generar una respuesta verosímil pero errónea, desviarse después de la implementación o producir una decisión difícil de explicar cuando un regulador pide pruebas.

Dado que los riesgos son tan amplios, la gestión de riesgos de la IA se ha convertido en una preocupación que debe abordarse durante todo el ciclo de vida. Ofrece a las organizaciones una forma estructurada de entender dónde pueden causar daño los sistemas de IA, decidir qué riesgos son aceptables y aplicar controles que mantengan esos riesgos dentro de los límites definidos. También ayuda a los equipos a decidir qué nivel de riesgo residual es aceptable, qué controles se necesitan antes del lanzamiento y qué tipo de supervisión debe continuar después de que el sistema llegue a los usuarios.

La gestión de riesgos de la IA es el proceso por el que se identifican, evalúan, mitigan y supervisan los riesgos de los sistemas de IA a lo largo de todo el ciclo de vida de la IA, ya sea durante el desarrollo, la implementación o la producción. Abarca el modelo, pero también abarca los datos que utiliza, el contexto de la aplicación en el que opera, las personas afectadas por sus resultados, las políticas que rigen su uso y las pruebas necesarias para demostrar que se aplicaron controles.

Esto hace que la gestión de riesgos de la IA sea más amplia que la gestión de riesgos de los modelos. La gestión de riesgos de un modelo, especialmente en el sector bancario y otros entornos financieros regulados, se centra en el riesgo de que un modelo produzca resultados incorrectos, mal utilizados o malinterpretados. La gestión de riesgos de la IA incluye esa preocupación, pero también tiene en cuenta todo el sistema en torno al modelo: la procedencia de los datos de entrenamiento, el contexto de recuperación, los controles de acceso, la interacción con el usuario, el comportamiento de los prompts, el impacto en los flujos de trabajo dependientes, la respuesta a incidentes y la supervisión posterior a la implementación.

En la práctica, un programa de gestión de riesgos de la IA debe responder preguntas operativas como:

• ¿Qué conjuntos de datos se utilizaron para entrenar, probar o fundamentar el sistema?

• ¿Quién es el responsable del caso de uso, del modelo y del proceso empresarial afectado?

• ¿Qué riesgos se identificaron durante el desarrollo, las pruebas y la implementación?

• ¿Qué controles reducen esos riesgos y qué riesgo residual queda?

• ¿Cómo detectará la organización la deriva del modelo, el uso indebido, los incidentes de seguridad o los resultados perjudiciales tras el lanzamiento?

Estas respuestas convierten el riesgo de la IA, que deja de ser una preocupación abstracta, en un conjunto de decisiones, controles y registros de auditoría revisables.

Los sistemas de IA presentan riesgos que los programas tradicionales de gestión de riesgos empresariales no fueron diseñados para evaluar por sí solos. Una aplicación basada en reglas suele comportarse de la misma manera cuando recibe la misma entrada. Los sistemas de IA, especialmente los de IA generativa, pueden ser no deterministas: el mismo prompt puede producir respuestas diferentes, y el comportamiento del sistema puede cambiar a medida que cambian los modelos, los datos, los prompts o el contexto de recuperación.

El riesgo también proviene de más de una capa. Un modelo puede ser técnicamente sólido y, aun así, causar daños si se entrena con datos sesgados, se conecta a registros confidenciales sin los controles de acceso adecuados, se utiliza fuera de su propósito previsto o se implementa en un flujo de trabajo en el que los usuarios confían en exceso en sus resultados. Un modelo de fraude, por ejemplo, puede rendir bien en la validación, pero degradarse cuando los patrones de transacción cambian. O una aplicación aumentada de recuperación podría exponer información restringida si su lógica de acceso no se alinea con los permisos del usuario.

El riesgo de la IA también evoluciona después de la implementación. La deriva de datos, las entradas contradictorias, la inyección de prompts, los cambios en las normativas, las actualizaciones de los proveedores y los nuevos patrones de uso pueden alterar el perfil de riesgo de un sistema que superó su revisión original. Por ese motivo, la gestión de riesgos de la IA no puede concluir con la aprobación. Necesita supervisión, vías de escalado, criterios de reentrenamiento, notificación de incidentes y criterios de retirada.

Las categorías de riesgo de la IA ayudan a distinguir el origen del riesgo del síntoma que produce. Las siguientes categorías proporcionan a los equipos una forma de vincular esos riesgos con el control, el responsable y el proceso de revisión adecuados.

Riesgos técnicos y de rendimiento

Entre los riesgos técnicos se incluyen la precisión, la solidez, la fiabilidad, las alucinaciones, la deriva del modelo y la disponibilidad del sistema. En la IA generativa, el fallo más visible puede ser una respuesta alucinada, pero la causa subyacente podría ser un contexto de recuperación deficiente, una procedencia de datos inadecuada, la falta de medidas de protección o un flujo de trabajo que envíe una respuesta generada por IA a un cliente sin revisión. La gestión de riesgos depende de la capacidad de la organización para probar el sistema con respecto al uso previsto, definir umbrales de rendimiento aceptables y detectar cuándo los resultados ya no los alcanzan.

Riesgos relacionados con los datos

El riesgo de los datos incluye envenenamiento, filtraciones, lagunas en el consentimiento, problemas de procedencia, problemas de calidad y sesgos en los datos de entrenamiento. Un modelo entrenado o basado en datos mal documentados puede heredar errores difíciles de rastrear posteriormente. En el caso de los sistemas de IA que dependen de datos empresariales, el linaje, la clasificación, el historial de acceso y los controles de calidad de los datos pasan a formar parte de la gestión de riesgos y no solo de la gobernanza en segundo plano.

Riesgos de seguridad

Los riesgos de seguridad de la IA incluyen la inyección de prompts, la inversión de modelos, la inferencia de pertenencia, el robo de modelos, la exfiltración de datos y la manipulación adversaria. Los riesgos de seguridad de la IA son de alto impacto, ya que los sistemas de IA suelen encontrarse entre los usuarios y los datos confidenciales, las herramientas o los flujos de trabajo. Un prompt comprometido o un contexto manipulado pueden influir no solo en la respuesta que genera un modelo, sino también en las acciones que intenta llevar a cabo una aplicación basada en IA.

Riesgos éticos y de equidad

Los riesgos de equidad, analizados desde la perspectiva de la ética de la IA, pueden incluir resultados discriminatorios, daños contra la dignidad, falta de transparencia y fallos de la supervisión humana. Estos riesgos suelen manifestarse en el punto en que los sistemas técnicos interactúan con las personas: un proceso de selección de personal, una decisión crediticia, una recomendación sanitaria o una herramienta de productividad para empleados. Gestionar el riesgo de equidad de forma eficaz requiere claridad sobre las poblaciones afectadas, el uso previsto, los derechos de revisión y las vías de escalado.

Riesgos legales y normativos

El riesgo legal y normativo incluye la no conformidad con las leyes específicas de la IA, violaciones de la privacidad, problemas de propiedad intelectual y documentación inadecuada. La Ley de IA de la UE, por ejemplo, exige a los proveedores de sistemas de IA de alto riesgo que establezcan, implementen, documenten y mantengan un sistema de gestión de riesgos, y lo describe como un proceso continuo e iterativo a lo largo de todo el ciclo de vida del sistema de IA. El cumplimiento de la IA es un componente clave de la gestión de riesgos.

Riesgos operativos

Entre los riesgos operativos se incluyen la dependencia de un proveedor, los sobrecostes, la falta de claridad en cuanto a la propiedad, una respuesta a incidentes deficiente y dependencias no gestionadas. Un equipo puede implementar una aplicación de IA útil, pero tener dificultades para operarla si nadie se responsabiliza de la supervisión, la gestión de excepciones, las actualizaciones del modelo, las revisiones de acceso o las decisiones de retirada.

Riesgos para la reputación

El riesgo para la reputación incluye fallos públicos, reacciones adversas de los usuarios y el escrutinio de los reguladores. Estos riesgos suelen ser efectos derivados de otros fallos, como resultados sesgados, contenido no seguro, datos expuestos, decisiones inexplicables o una brecha visible entre lo que una organización prometió y lo que su sistema de IA realmente hizo.

Riesgos sociales

El riesgo social incluye el desplazamiento laboral, el daño democrático, la concentración de poder y efectos sistémicos más amplios. No todas las organizaciones evaluarán estos riesgos de la misma manera, pero los programas maduros de gestión de riesgos de la IA se plantean si el impacto de un sistema va más allá de los usuarios inmediatos y los resultados empresariales directos.

El marco AI Risk Management Framework de NIST (AI RMF) es un marco voluntario diseñado para ayudar a las organizaciones a gestionar los riesgos para las personas, las organizaciones y la sociedad derivados de los sistemas de IA. NIST describe el marco como una forma de incorporar consideraciones de fiabilidad en el diseño, desarrollo, uso y evaluación de productos, servicios y sistemas de IA. El NIST también publicó un perfil de IA generativa para AI RMF en julio de 2024. El perfil es un recurso complementario para aplicar el marco AI RMF a riesgos nuevos o ampliados por la IA generativa.

El marco AI RMF se organiza en torno a cuatro funciones principales: gobernar, cartografiar, medir y gestionar. NIST enfatiza que estas funciones no son una simple lista de comprobación o una secuencia fija. Se han diseñado para aplicarse de forma iterativa en todo el ciclo de vida de la IA, y la gobernanza sirve de base para las demás funciones a lo largo de todo el proceso.

Gobernar

La función Gobernar establece la base organizativa para la gestión de riesgos de la IA. Abarca la responsabilidad, las políticas, los roles, la formación, la cultura de riesgo y la supervisión. En términos prácticos, esto significa definir quién puede aprobar un caso de uso de IA, quién es el responsable del modelo o la aplicación, qué políticas se aplican y cómo se documentan las decisiones sobre riesgos.

Cartografiar

La función Cartografiar identifica el contexto en el que funcionará un sistema de IA. Los equipos definen el uso previsto, los usos fuera del alcance, las partes interesadas afectadas, el entorno de implementación y el impacto en los procesos empresariales. Un mismo modelo puede conllevar riesgos diferentes en función de dónde se utilice. Por ejemplo, un modelo de resumen utilizado en la documentación pública de un producto tiene un perfil de riesgo diferente del utilizado en las notas clínicas o contratos legales.

Medir

La función Medir evalúa los riesgos en función de las características de fiabilidad, como validez, fiabilidad, solidez, seguridad, protección, resiliencia, explicabilidad, privacidad y equidad. La medición puede incluir pruebas cuantitativas, revisiones cualitativas, operaciones de equipo rojo (red teaming), auditorías de sesgos, evaluaciones de privacidad y pruebas de robustez adversaria.

Gestionar

La función Gestionar prioriza los riesgos, asigna recursos, aplica medidas de mitigación, supervisa los controles y comunica las decisiones sobre riesgos. Aquí es donde la evaluación de riesgos se convierte en acción: aprobar un caso de uso con condiciones, agregar un paso de revisión humana, limitar el acceso, cambiar el patrón de implementación, aceptar el riesgo residual o negarse a proceder.

La gestión de riesgos de la IA funciona mejor cuando está integrada en el ciclo de vida en lugar de abordarla al final. La visión del ciclo de vida ayuda a los equipos a detectar diferentes riesgos cuando aún pueden reducirse, probarse o escalarse.

Fase previa al desarrollo

Antes de entrenar, ajustar o conectar un modelo, el equipo debe validar el caso de uso. Esto implica definir el objetivo empresarial, identificar a los usuarios afectados, asignar un nivel de riesgo, confirmar si la IA es adecuada y completar una revisión ética de la IA o una evaluación del impacto de la IA cuando sea necesario. Un asistente de productividad interno de bajo riesgo puede necesitar una revisión ligera, mientras que un sistema que afecte al crédito, al empleo, a la sanidad o a los servicios públicos puede necesitar una evaluación formal del impacto y la aprobación por parte de la dirección.

Fase de desarrollo

Durante el desarrollo, la gestión de riesgos se centra en el linaje de datos, la calidad de los datos, los controles de privacidad, las auditorías de sesgos y la documentación. Los equipos deben saber de dónde proceden los datos de entrenamiento, pruebas y validación, qué transformaciones se han aplicado, si existen campos confidenciales y si el conjunto de datos es representativo para el uso previsto.

La documentación del modelo debe recoger las opciones de diseño, los supuestos, las limitaciones, los resultados de la evaluación y los riesgos conocidos. Esta evidencia adquiere importancia más tarde, cuando los equipos deben explicar por qué se aprobó un sistema o por qué cambió una versión del modelo.

Fase previa a la implementación

Antes del lanzamiento, los equipos deben probar el sistema en condiciones similares al uso en producción. Esto puede incluir operaciones de equipo rojo, pruebas de robustez adversaria, revisiones de explicabilidad, revisiones de seguridad, revisiones de privacidad y puntos de aprobación. En los sistemas de IA generativa, las pruebas deben incluir prompts que intenten generar contenido no seguro, filtrar datos confidenciales, eludir instrucciones o activar comportamientos que están fuera del ámbito previsto.

El objetivo no es demostrar que no es posible ningún fallo, sino comprender los modos de fallo probables, aplicar medidas de mitigación específicas y decidir si el riesgo residual es aceptable.

Fase de implementación

Los controles de implementación ayudan a reducir el riesgo a medida que el sistema se pone en uso. Un equipo podría recurrir a un despliegue por fases, una implementación canaria, un grupo de usuarios limitado, un requisito de supervisión humana, una política de registro o un patrón de acceso restringido. Estos controles permiten a las organizaciones observar el comportamiento del sistema antes de ampliar el uso.

En el caso de los sistemas de alto riesgo, la implementación también debe incluir una vía de escalado clara. Los usuarios deben saber cuándo confiar en el sistema, cuándo anularlo y cómo informar de comportamientos inesperados.

Fase posterior a la implementación

La gestión de riesgos de la IA continúa después del lanzamiento. Los equipos deben vigilar la deriva, la degradación del rendimiento, los patrones de uso inusuales, los incidentes de seguridad, las quejas de los usuarios y los cambios normativos. Asimismo, deben definir los criterios de reentrenamiento, los requisitos de notificación de incidentes y los criterios de retirada.

La supervisión posterior a la implementación es especialmente importante porque los sistemas de IA pueden fallar gradualmente. Un modelo puede seguir disponible y operativo mientras su precisión se deteriora, sus datos de entrada cambian o sus resultados se dejan de estar alineados con el caso de uso original.

El marco AI RMF de NIST es una referencia ampliamente utilizada, pero no es el único marco que emplean las organizaciones.

• ISO/IEC 23894 es una norma que orienta a las organizaciones que desarrollan, producen, implementan o utilizan productos, sistemas y servicios basados en IA a la hora de gestionar los riesgos relacionados con esta tecnología. ISO describe la norma como una guía para integrar la gestión de riesgos en las actividades y funciones relacionadas con la IA.

• ISO/IEC 42001 es una norma certificable para sistemas de gestión de IA. ISO la describe como una norma para establecer, implementar, mantener y mejorar de forma continua un sistema de gestión de IA, prestando atención a los riesgos y oportunidades asociados a la IA.

• La Ley de IA de la UE establece obligaciones legales para determinados sistemas de IA, especialmente los de alto riesgo. Sus disposiciones en materia de gestión de riesgos exigen revisión continua, identificación y evaluación de riesgos, medidas de mitigación, pruebas y evaluación del riesgo residual.

• Las organizaciones bancarias y de servicios financieros también pueden basarse en directrices sobre riesgos de modelos, como SR 11-7 y OCC 2011-12, que son más restrictivas que la gestión de riesgos de la IA, pero siguen siendo importantes para la gobernanza de modelos en entornos regulados.

• Otras directrices operativas, como el marco Model AI Governance Framework de Singapur, pueden ayudar a las organizaciones a trasladar los principios de gobernanza de la IA a roles, procesos, documentación y controles diferenciados por nivel de riesgo.

La gestión de riesgos de la IA depende de las pruebas. Los equipos necesita saber qué datos utilizó un modelo, cómo se gobernaron esos datos, quién tuvo acceso, qué versión del modelo se implementó, qué medidas de protección se aplicaron y qué ocurrió tras el lanzamiento. Snowflake contribuye a respaldar esa cadena de pruebas en el ámbito de los datos, modelos, aplicaciones y flujos de trabajo de gobernanza.

Snowflake Horizon Catalog ayuda a las organizaciones a hacer más visible la exposición al riesgo de la IA al mostrar el contexto de gobernanza, como el descubrimiento de datos, el historial de acceso, el etiquetado de objetos y las herramientas de cumplimiento. Cortex Guard añade salvaguardas durante la ejecución para casos de uso de IA generativa en Snowflake Cortex AI. Permite filtrar respuestas potencialmente no seguras o perjudiciales de un modelo de lenguaje.

Snowflake ML Model Registry ayuda a los equipos a gestionar modelos y metadatos de modelos en Snowflake, así como a supervisar el rendimiento y la deriva mediante Snowflake ML Observability. Los equipos también pueden actualizar metadatos, como comentarios, etiquetas y métricas, incluidas las etiquetas que registren la finalidad del modelo, el algoritmo, el conjunto de datos de entrenamiento o la fase del ciclo de vida.

La certificación ISO/IEC 42001 de Snowflake para su sistema de gestión de inteligencia artificial proporciona otra capa de garantía. En conjunto, estas capacidades ayudan a las organizaciones a conectar la gestión de riesgos de la IA con los controles operativos más importantes: acceso gobernado a los datos, linaje, metadatos, barreras de protección, supervisión y pruebas de auditoría.

La gestión de riesgos de la IA es el modelo operativo que permite a las organizaciones entender qué se supone que debe hacer un sistema de IA, qué podría salir mal, qué controles reducen ese riesgo y qué pruebas demuestran que los controles están funcionando.

Con la creciente integración de la IA en los flujos de trabajo empresariales, la superficie de riesgo se amplía a datos, modelos, aplicaciones, usuarios, proveedores y decisiones derivadas. Un programa práctico de gestión de riesgos de la IA ofrece a los equipos una forma de gestionar esa superficie sin paralizar o ralentizar cada proyecto. Define los niveles de riesgo, asigna responsables, documenta las decisiones, prueba los sistemas antes de su lanzamiento y los supervisa después de la implementación.

Para las empresas, los programas más sólidos serán los que conecten las políticas a los controles operativos. Es aquí donde la gestión de riesgos de la IA comienza a poner en práctica la IA responsable: convierte los principios en controles operativos, sistemas supervisados y resultados auditables.