ISO/IEC 42001:2023: requisitos, controles y certificación

Muchos programas de gobernanza de la IA dan prioridad a las políticas, pero descuidan los procesos. Cuando los modelos pasan del desarrollo a la producción, se añade una nueva fuente de datos o un proveedor actualiza una función, los controles que parecían adecuados durante la implementación enseguida dejan de serlo, y no existe ningún mecanismo integrado para detectar ese desfase.

ISO/IEC 42001:2023 es la primera norma internacional para un sistema de gestión de IA y brinda ese modelo operativo a las organizaciones. Especifica cómo pueden las organizaciones establecer, implementar, mantener y mejorar continuamente los procesos utilizados para gobernar los sistemas de IA, de modo que la gobernanza de la IA deja de ser un documento para convertirse en un sistema de gestión auditable, con una asignación clara de responsabilidades, tratamiento de riesgos, ciclos de auditoría y requisitos de pruebas.

ISO/IEC 42001:2023 es una norma internacional que especifica los requisitos aplicables a un sistema de gestión de inteligencia artificial (AIMS). Un AIMS es el conjunto de políticas, roles, procesos, controles e información documentada que una organización utiliza para gobernar cómo se desarrollan, aprovisionan o usan los sistemas de IA.

Publicada en diciembre de 2023 por ISO/IEC JTC 1/SC 42, la norma se aplica a distintos sectores y tipos de sistemas de IA, como el aprendizaje automático (ML) predictivo, la IA generativa y los sistemas basados en agentes de IA. Puede aplicarse a organizaciones que proporcionan productos de IA, implementan sistemas de IA en procesos empresariales o utilizan sistemas de IA en entornos de producción.

ISO/IEC 42001 sigue la estructura armonizada que emplean otras normas ISO sobre sistemas de gestión, como ISO 27001 e ISO 9001. Esto resulta beneficioso porque las organizaciones cuyos sistemas de gestión ya han alcanzado cierta madurez suelen poder reutilizar prácticas conocidas, como definir el alcance, asignar las responsabilidades de la dirección, mantener información documentada, realizar auditorías internas, revisar el rendimiento e impulsar la mejora continua.

La norma también incluye los controles del anexo A, que abordan temas de gobernanza específicos de la IA, como las políticas de IA, la organización interna, los recursos, las evaluaciones de impacto, los procesos del ciclo de vida, los datos, la información para las partes interesadas, el uso de sistemas de IA y las relaciones con terceros. Al igual que en ISO 27001, los controles del anexo A se basan en su aplicabilidad, por lo que las organizaciones documentan qué controles se aplican y por qué mediante una Declaración de aplicabilidad.

ISO/IEC 42001 ofrece a las organizaciones una forma de demostrar que la gobernanza de la IA funciona en la práctica y no se limita a estar descrita. Esta distinción es importante cuando los clientes, los reguladores, los consejos de administración o los responsables de compras preguntan cómo controla una organización los sistemas de IA que crea o utiliza.

Atestación por tercera parte

La certificación ofrece a las organizaciones garantías independientes de que su AIMS cumple los requisitos de la norma. ISO define la certificación como una garantía por escrito de un organismo independiente de que un producto, servicio o sistema cumple unos requisitos específicos. Para los equipos de IA, esto puede ayudar a demostrar que aplican prácticas de IA responsable sin exponer detalles de modelos propietarios, arquitecturas internas ni datos confidenciales de los clientes.

Apoyo a la adquisición

Dado que las grandes organizaciones incorporan cada vez más preguntas sobre gobernanza de la IA en sus pliegos de condiciones y evaluaciones de riesgo de proveedores, ISO 42001 ofrece a proveedores y responsables del despliegue una norma reconocida a la que pueden remitirse. Un certificado no responde a todas las preguntas técnicas, pero puede reducir la ambigüedad sobre si la organización dispone de procesos formales de gobernanza de la IA, ciclos de auditoría y supervisión por parte de la dirección.

Alineación normativa

La adopción de ISO 42001 es voluntaria, pero la estructura de su sistema de gestión se corresponde en gran medida con las nuevas expectativas normativas en materia de IA. La Ley de IA de la UE exige que los proveedores de sistemas de IA de alto riesgo mantengan sistemas documentados de gestión de la calidad y de gestión de riesgos, así como procesos de supervisión posterior a la comercialización. ISO 42001 puede proporcionar una base estructurada que las organizaciones pueden utilizar para respaldar sus iniciativas de cumplimiento de la IA: las políticas, los procedimientos y las pruebas que exigen esas obligaciones.

Cadencia operativa

La gobernanza de la IA necesita una cadencia. Las evaluaciones de riesgos quedan obsoletas, los datos cambian, el comportamiento de los modelos se desvía y los casos de uso empresariales se amplían. ISO 42001 formaliza esa cadencia mediante la planificación, la evaluación del rendimiento, la auditoría interna, la revisión por parte de la dirección, las medidas correctivas y la mejora continua.

Confianza de los clientes

La certificación ISO/IEC 42001 demuestra a los clientes el compromiso de una organización con la transparencia, la responsabilidad y la confianza en las prácticas de seguridad de la IA. Por ejemplo, Snowflake ha obtenido la certificación ISO/IEC 42001 tras una auditoría independiente realizada por un tercero, y los clientes pueden acceder a las pruebas de auditoría relacionadas a través del Snowflake Compliance Center.

ISO/IEC 42001 se aplica a las organizaciones que proporcionan, desarrollan, implementan o utilizan sistemas de IA. El riesgo de la IA no recae únicamente en quienes desarrollan los modelos. También puede surgir cuando una empresa configura un producto de software como servicio (SaaS) con IA, integra un sistema de IA en un flujo de trabajo, lo conecta a datos confidenciales o utiliza sus resultados para tomar decisiones que afectan a clientes, empleados u operaciones.

La norma resulta pertinente para varios tipos de organizaciones:

• Los proveedores desarrollan sistemas de IA, productos con IA o servicios de IA que utilizan otras personas u organizaciones. Un proveedor puede crear un modelo de detección de fraude, un asistente de IA generativa, un sistema de visión artificial o una aplicación de IA integrada en un producto más amplio.

• Los responsables del despliegue ponen en uso los sistemas de IA. Un responsable del despliegue puede configurar un servicio de IA proporcionado por un proveedor, integrarlo con sistemas internos, conectarlo a datos gobernados o definir el flujo de trabajo en el que los empleados utilizan los resultados de la IA.

• Los usuarios manejan sistemas de IA en entornos de producción. En la práctica, esto puede incluir equipos empresariales, organismos del sector público, organizaciones reguladas y funciones internas que utilizan la IA para el análisis, la automatización, el apoyo a la toma de decisiones o la generación de contenido.

ISO 42001 no se limita a ningún sector, pero su adopción temprana resulta especialmente pertinente para organizaciones del sector público, sectores regulados y empresas de productos de IA, ya que suelen afrontar mayores exigencias en cuanto a controles documentados, pruebas de adquisición y procesos de gobernanza justificables.

ISO/IEC 42001 sigue la estructura armonizada que utilizan las normas ISO sobre sistemas de gestión. Las cláusulas 1 a 3 definen el alcance, las referencias normativas y los términos y definiciones; las cláusulas 4 a 10 especifican los requisitos del sistema de gestión que una organización debe implantar y mantener.

Cláusulas 1-3: alcance, referencias y definiciones

Las cláusulas iniciales establecen qué abarca la norma, qué referencias se aplican y cómo se definen los términos clave. Para los programas de gobernanza de la IA, este vocabulario común es importante porque los equipos de negocio, jurídicos, de ciencia de datos, ingeniería y seguridad suelen utilizar las mismas palabras con significados distintos. La norma proporciona a esos equipos un punto de referencia común para el AIMS.

Cláusula 4: contexto de la organización

La cláusula 4 exige que la organización comprenda los factores internos y externos que afectan a su sistema de gestión de la IA. Esto incluye las necesidades de las partes interesadas, las expectativas legales y normativas, los casos de uso de la IA, los límites organizativos y el alcance del AIMS.

En la práctica, una empresa debe saber qué sistemas de IA están incluidos en el AIMS, qué equipos son responsables de ellos, de qué fuentes de datos dependen y qué partes externas se ven afectadas por sus resultados.

Cláusula 5: liderazgo

La cláusula 5 aborda el compromiso de la dirección, la política de IA, los roles, las responsabilidades y la autoridad. Exige que los altos directivos integren la gobernanza de la IA en el sistema de gestión de la organización, en lugar de tratarla como un proceso secundario del que solo se encargan los equipos técnicos.

Esto suele implicar designar responsables, aprobar una política de IA, coordinar las responsabilidades entre los equipos de negocio y técnicos, y garantizar que las personas con obligaciones de gobernanza tengan autoridad para cumplirlas.

Cláusula 6: planificación

La cláusula 6 aborda la planificación, incluida la evaluación de riesgos de la IA, el tratamiento de riesgos de la IA y los objetivos de IA. Las organizaciones deben identificar los riesgos y las oportunidades, decidir cómo abordarlos y definir objetivos medibles para el AIMS.

Una evaluación de riesgos podría examinar la calidad de los datos, el rendimiento del modelo, la explicabilidad, la supervisión humana, la seguridad, la privacidad, el sesgo algorítmico, la resiliencia operativa o el impacto posterior. El plan de tratamiento de riesgos vincula entonces esos riesgos con controles, responsables y pruebas.

Cláusula 7: apoyo

La cláusula 7 se centra en los recursos necesarios para operar el AIMS: competencia, concienciación, comunicación e información documentada. Una política no basta si los responsables de los modelos no saben cuándo realizar una evaluación de impacto, los revisores no pueden encontrar las pruebas necesarias o los usuarios empresariales no comprenden qué usos de la IA son aceptables.

En esta cláusula, las organizaciones definen la formación, las prácticas de documentación, los canales de comunicación y los registros que demuestran la actividad de gobernanza.

Cláusula 8: operación

La cláusula 8 aborda la planificación y el control operativos de los sistemas de IA. Aquí es donde los procesos del ciclo de vida se concretan: requisitos, decisiones de diseño, preparación de datos, verificación y validación, controles de despliegue, operación, supervisión y retirada.

Por ejemplo, una organización puede necesitar un proceso documentado para aprobar un modelo antes de ponerlo en producción, cambiar sus datos de entrada, ampliar su uso a una nueva población o retirarlo cuando deje de cumplir las expectativas de la política o de rendimiento.

Cláusula 9: evaluación del rendimiento

La cláusula 9 exige supervisión, medición, análisis, evaluación, auditorías internas y revisión por parte de la dirección. La organización debe saber si el AIMS funciona y si los controles de gobernanza siguen siendo adecuados para sus sistemas de IA.

Esto puede incluir pruebas de controles, hallazgos de auditoría, resultados de la supervisión de modelos, tendencias de incidentes, estado del tratamiento de riesgos y registros de las revisiones por parte de la dirección.

Cláusula 10: mejora

La cláusula 10 aborda la no conformidad, las medidas correctivas y la mejora continua. Cuando se detecta un hallazgo de auditoría, un incidente, un problema de supervisión o un fallo de proceso, la organización debe responder de forma estructurada.

Esa respuesta suele incluir investigar la incidencia, corregir el problema inmediato, abordar las causas raíz y actualizar el AIMS para reducir la probabilidad de que el mismo fallo vuelva a producirse.

El anexo A proporciona 38 controles específicos de la IA agrupados en categorías de control. Estos controles ayudan a las organizaciones a pasar de los requisitos del sistema de gestión a las prácticas operativas, pero no son automáticamente obligatorios en todos los contextos. Las organizaciones evalúan su aplicabilidad y documentan su justificación en una Declaración de aplicabilidad.

A.2. Políticas de IA

El apartado A.2 aborda las políticas de IA, incluida la forma en que la organización define las expectativas sobre una IA responsable, asigna roles y gestiona la adquisición. Una política debe ser lo suficientemente específica como para orientar las decisiones sobre el desarrollo y el uso de la IA, por ejemplo, quién puede aprobar un sistema de IA, qué criterios de riesgo se aplican y cómo se revisan los sistemas de IA de terceros.

A.3. Organización interna

El apartado A.3 se centra en la estructura de gobernanza, las líneas jerárquicas y la asignación de recursos. La gobernanza de la IA suele abarcar a responsables de negocio, equipos de datos, departamentos jurídicos y equipos de cumplimiento, seguridad, privacidad, adquisiciones y plataforma, por lo que el objetivo del control es hacer visible la rendición de cuentas antes de que surja un problema.

A.4. Recursos para los sistemas de IA

El apartado A.4 aborda los recursos necesarios para desarrollar, implementar y operar sistemas de IA, incluidos los datos, las herramientas, la infraestructura, los recursos del sistema y la supervisión humana. En el caso de un sistema de IA en producción, esto puede incluir conjuntos de datos aprobados, entornos de desarrollo de modelos, herramientas de supervisión, flujos de trabajo de revisión y vías de escalado.

A.5. Evaluación del impacto de los sistemas de IA

El apartado A.5 aborda las evaluaciones de impacto. Estas evaluaciones ayudan a las organizaciones a determinar cómo podría afectar un sistema de IA a personas, grupos, procesos empresariales o partes interesadas externas antes y después de la implementación.

Una evaluación de impacto podría examinar si un sistema de IA influye en el acceso a un servicio, genera recomendaciones que afectan a las personas, trata atributos sensibles o crea una dependencia operativa en un flujo de trabajo crítico.

A.6. Ciclo de vida de los sistemas de IA

El apartado A.6 aborda los procesos del ciclo de vida, incluidos los requisitos, el diseño, la verificación, la validación, la implementación, la operación y la retirada. La categoría de control refleja una realidad básica de la gobernanza: el riesgo de la IA cambia a medida que los sistemas avanzan por distintas etapas.

Un modelo que parece aceptable durante el desarrollo puede comportarse de manera diferente después de conectarse a datos actualizados, recibir nuevos prompts, atender a una base de usuarios más amplia o pasar a formar parte de un flujo de trabajo automatizado.

A.7. Datos para los sistemas de IA

El apartado A.7 aborda la adquisición, la calidad, la procedencia y la preparación de los datos. Estos controles son especialmente importantes porque los sistemas de IA suelen heredar riesgos de sus datos. Si un conjunto de entrenamiento, un contexto de prompt, una tabla de características o un corpus de recuperación carece de responsables, linaje, controles de calidad o restricciones de uso, puede resultar difícil confiar en los resultados del modelo o defenderlos.

Los controles sólidos en esta categoría suelen exigir que los equipos documenten la procedencia de los datos, las transformaciones aplicadas, los umbrales de calidad pertinentes y las restricciones de uso que acompañan a los datos en los flujos de trabajo de IA.

A.8. Información para las partes interesadas

El apartado A.8 aborda la información proporcionada a las partes interesadas, incluida la documentación, la comunicación y la elaboración de informes. En función del sistema de IA, esas partes pueden incluir clientes, organismos reguladores, revisores internos, usuarios empresariales, auditores o personas afectadas por los resultados del sistema.

Esta categoría puede incluir documentación del modelo, instrucciones para los usuarios, comunicación de riesgos, limitaciones conocidas, informes de supervisión y procesos de comunicación de incidentes.

A.9. Uso de sistemas de IA

El apartado A.9 se centra en el uso responsable y la retirada. Las organizaciones necesitan procesos que rijan cómo se utilizan los sistemas de IA una vez que están en producción, incluidos el uso aceptable, las responsabilidades de los usuarios, las expectativas de supervisión y los criterios de retirada.

Esto es importante para la IA generativa y los sistemas de agentes de IA, en los que la misma capacidad subyacente puede utilizarse en distintos flujos de trabajo con perfiles de riesgo diferentes.

A.10. Relaciones con terceros y clientes

El apartado A.10 aborda las responsabilidades de proveedores y clientes. Los sistemas de IA suelen depender de modelos externos, productos SaaS, proveedores de datos, partners de integración o clientes posteriores. Los controles ayudan a aclarar quién es responsable de cada aspecto, qué pruebas se requieren y cómo se revisan los cambios en los servicios de terceros.

La certificación ISO/IEC 42001 sigue el conocido proceso de certificación de sistemas de gestión que se utiliza para otras normas ISO. Los detalles varían según la organización, el alcance y el organismo de certificación, pero la mayoría de los programas siguen la misma secuencia básica.

• Análisis de preparación o de deficiencias: La organización evalúa sus prácticas actuales de gobernanza de la IA con respecto a los requisitos de ISO 42001. Esto suele revelar definiciones del alcance incompletas, responsabilidades sin documentar, evaluaciones de riesgos incoherentes, controles del ciclo de vida deficientes o pruebas de auditoría insuficientes.

• Desarrollo del AIMS: La organización establece o actualiza el AIMS. Esto incluye políticas, procedimientos, evaluaciones de riesgos, evaluaciones de impacto, controles del ciclo de vida, prácticas de documentación, formación, elaboración de informes y una Declaración de aplicabilidad para los controles del anexo A.

• Auditoría interna: Antes de la auditoría de certificación, la organización realiza una auditoría interna para comprobar si el AIMS cumple los requisitos y si los controles funcionan según lo descrito.

• Auditoría de certificación de la etapa 1: El organismo de certificación revisa la preparación, el alcance y la documentación. El objetivo es determinar si la organización está preparada para la auditoría de implementación.

• Auditoría de certificación de la etapa 2: El auditor verifica que el AIMS está implementado y en funcionamiento. Esto puede incluir entrevistas, revisión de pruebas, muestreo, pruebas de los controles y examen de los registros de las revisiones por parte de la dirección.

• Auditorías de seguimiento y recertificación: La certificación no es un evento puntual. Las organizaciones suelen someterse a auditorías de seguimiento anuales y a una recertificación cada tres años, lo que refuerza el modelo de mejora continua de la norma.

Las organizaciones pueden trabajar con organismos de certificación acreditados como BSI, Schellman, A-LIGN, Mazars, TÜV o DNV, en función de la ubicación geográfica, el alcance y la disponibilidad. El tiempo necesario para obtener la certificación varía mucho, pero muchas organizaciones deben prever un esfuerzo de entre 6 y 18 meses. Los plazos pueden ser más cortos si ya cuentan con sistemas de gestión maduros basados en ISO 27001, ISO 9001 u otras normas similares.

ISO 42001 no sustituye a todos los marcos de gobernanza de la IA ni a todas las obligaciones legales. Funciona mejor cuando las organizaciones comprenden para qué se ha diseñado: establecer un sistema de gestión de la IA certificable.

Muchas organizaciones utilizarán estos marcos conjuntamente. Un equipo podría utilizar AI RMF de NIST para estructurar el análisis de riesgos de IA, ISO/IEC 23894 para profundizar en las prácticas de gestión de riesgos, ISO/IEC 22989 para armonizar el vocabulario e ISO 42001 para establecer el AIMS que permite que esas prácticas sean repetibles y auditables.

Snowflake cuenta con la certificación ISO/IEC 42001, lo que significa que un tercero acreditado ha auditado el AIMS de Snowflake con arreglo a los requisitos de la norma sobre gobernanza responsable de la IA y que las pruebas de auditoría están disponibles para los clientes a través de Snowflake Compliance Center.

Para los clientes que desarrollan sus propios programas ISO 42001, una plataforma certificada puede respaldar algunos aspectos del entorno de control de la gobernanza de datos e IA. No certifica el AIMS propio de un cliente, porque cada organización sigue siendo responsable de sus casos de uso de IA, evaluaciones de riesgos, evaluaciones de impacto, políticas y decisiones operativas. Sin embargo, puede ayudar a las organizaciones a estructurar las pruebas que demuestran que los controles fundamentales de datos e infraestructura están gobernados, documentados y son auditables.

Las capacidades de Snowflake pueden respaldar varias áreas de control del anexo A:

Snowflake Horizon Catalog está diseñado para proporcionar una amplia trazabilidad y visibilidad, lo que ayuda a los equipos a gobernar datos, aplicaciones y modelos mediante metadatos, linaje, historial de acceso, clasificación, etiquetado y aplicación de políticas. Horizon permite gestionar la gobernanza de datos en Snowflake y el almacenamiento externo, y las funciones de historial de acceso y Time Travel facilitan la revisión de la actividad y los estados anteriores de los datos. Estas capacidades son pertinentes para los controles del anexo A relativos a los datos de IA, la documentación del ciclo de vida, la gobernanza del acceso y la elaboración de informes.

Cortex Guard favorece un uso más seguro de los sistemas de IA al ayudar a filtrar las entradas y salidas de los large language models (LLM) que podrían ser inseguras, lo que puede respaldar los controles relacionados con la supervisión humana, el uso responsable y la información proporcionada a los usuarios.

Model Registry ayuda a los equipos a gestionar los metadatos, las versiones y el contexto de implementación del ciclo de vida de los modelos, lo que respalda los controles relativos a la gobernanza del ciclo de vida, la documentación y la revisión operativa.

En conjunto, estas capacidades ayudan a las organizaciones a aplicar la gobernanza a los objetos de los que dependen los sistemas de IA: conjuntos de datos, modelos, políticas, rutas de linaje, historial de acceso, documentación y señales de uso. Esto es especialmente importante para ISO 42001 porque la certificación depende de las evidencias. Un equipo debe poder demostrar no solo que existe una política, sino también que los controles pertinentes se aplican, revisan y mejoran con el tiempo.

ISO 42001 ofrece a las organizaciones una forma práctica de llevar la gobernanza de la IA de los principios a los procesos. Un equipo aún debe decidir qué sistemas de IA están incluidos en el ámbito de aplicación, quién es responsable de ellos, qué riesgos son relevantes, qué controles se aplican y qué pruebas demuestran que esos controles funcionan. Pero la norma proporciona la estructura necesaria para tomar esas decisiones de manera coherente. 

Cuando un sistema de IA se basa en datos gobernados, un ciclo de vida de los modelos documentado, una supervisión humana definida, controles de proveedores, evaluaciones de impacto, supervisión y medidas correctivas, la gobernanza pasa a formar parte del funcionamiento del sistema. Ese es el valor de ISO 42001: proporciona a los programas de IA un sistema de gestión que puede revisarse, auditarse y mejorarse a medida que evolucionan la tecnología, la organización y el entorno normativo.