Snowflake Forum Madrid | 22 de octubre

Genera impacto empresarial con agentes de IA.

Guía fundamental

Gobernanza de la IA: una guía para la empresa

Una IA segura y fiable depende de algo más que del rendimiento del modelo. En esta guía se explora cómo la gobernanza de la IA ayuda a las empresas a controlar el riesgo, aplicar políticas y gestionar los sistemas de IA modernos, desde el aprendizaje automático (ML) tradicional hasta la IA generativa y los agentes.

DEFINICIÓN DE GOBERNANZA DE LA IA

La gobernanza de la IA es el marco de políticas, normas, controles y mecanismos de supervisión que ayuda a las organizaciones a desarrollar, implementar y utilizar la IA de forma segura, justa y responsable, y de conformidad con los requisitos internos y externos.

Incluso un modelo de inteligencia artificial (IA) de alto rendimiento puede resultar poco fiable en un sistema de producción. En una demostración, los prompts están controlados, los datos están depurados y el acceso es limitado. En producción, el sistema podría mostrar políticas obsoletas, exponer datos restringidos o desencadenar acciones no deseadas.

La capacidad del modelo es importante, pero la fiabilidad depende de todo el sistema. La gobernanza de la IA es la forma en que las organizaciones definen y aplican ese sistema: conecta los casos de uso con responsables que deben rendir cuentas, los datos con políticas aplicables y los modelos con flujos de aprobación, monitorización y registros de auditoría. Está diseñada para que los resultados, especialmente los de gran impacto, sean más fáciles de revisar y rastrear, y estén más en consonancia con el funcionamiento real de la empresa.

La gobernanza cobra más importancia a medida que evolucionan los sistemas de IA. La IA generativa, la generación aumentada por recuperación (RAG) y los agentes de IA no se comportan como los modelos tradicionales. Recuperan datos, generan contenido y, en algunos casos, llevan a cabo acciones. Tratar cada nueva capacidad como un caso especial no es escalable, y la gobernanza ofrece una forma coherente de gestionarlas todas.

¿Qué es la gobernanza de la IA?

La gobernanza de la IA es el conjunto de políticas, normas, controles y procesos de supervisión que ayuda a las organizaciones a crear, implementar y utilizar la IA de forma segura, justa y responsable, y de conformidad con los requisitos internos y externos. Se aplica a todo el ciclo de vida de la IA, desde la identificación de casos de uso y la selección de datos hasta el desarrollo, la implementación y la monitorización de modelos, la respuesta ante incidentes y su retirada.

Su alcance es más amplio de lo que muchos equipos esperan. La gobernanza de la IA abarca los modelos de aprendizaje automático (ML), las aplicaciones de IA generativa, los sistemas multimodales y los flujos de trabajo de agentes capaces de llevar a cabo acciones en distintas herramientas.

Un modelo de detección de fraude, un chatbot de atención al cliente, un asistente basado en RAG y un agente de IA pueden tener arquitecturas muy diferentes. Sin embargo, todos requieren los mismos controles fundamentales: un registro claro de lo que el sistema puede hacer, a qué datos puede acceder, quién lo ha aprobado y cómo se supervisa su comportamiento a lo largo del tiempo.

La gobernanza de la IA se solapa con varias disciplinas relacionadas:

  • La gobernanza de datos rige activos de datos como tablas, vistas, políticas, metadatos, linaje, calidad y acceso.
  • La gobernanza de modelos gestiona los modelos como activos empresariales mediante su registro, validación, documentación y monitorización.
  • La ética de la IA define principios como la equidad, la responsabilidad y la supervisión humana.
  • El cumplimiento de la IA se centra en satisfacer los requisitos normativos, contractuales y de auditoría.

Por qué la gobernanza de la IA es importante ahora

La gobernanza de la IA se ha convertido en un requisito empresarial porque los sistemas de IA ya forman parte de decisiones que afectan a los precios, la contratación, la detección de fraudes, la experiencia del cliente y los servicios públicos. La IA generativa puede sacar a la luz información confidencial. Los agentes de IA pueden actuar en distintos sistemas. En cada caso, la cuestión ya no es solo si el modelo funciona bien, sino si la organización puede controlar y explicar el sistema que lo rodea.

La presión normativa es uno de los factores determinantes. La Ley de IA de la UE establece un enfoque basado en el riesgo que exige a las organizaciones clasificar los sistemas de IA, implementar controles y elaborar documentación lista para auditorías en los casos de uso de mayor riesgo. La norma ISO/IEC 42001 la complementa al proporcionar un estándar para la gestión de sistemas de IA a fin de establecer, mantener y mejorar las prácticas de gobernanza. Aunque su adopción es voluntaria, cada vez más organizaciones optan por utilizarla como forma de alinearse con la Ley de IA de la UE.

Pero la regulación no es la única razón por la que la gobernanza es importante. Los sistemas de IA pueden producir resultados discriminatorios, revelar datos confidenciales, generar afirmaciones sin fundamento o automatizar decisiones sin suficiente supervisión humana. Estos fallos pueden generar riesgos para la reputación y hacer que clientes, empleados y partners confíen menos en los flujos de trabajo basados en IA.

Jennifer Belissent, Principal Data Strategist de Snowflake, plantea la realidad comercial sin rodeos: “El verdadero motor de la gobernanza de la IA y de los datos ya está en marcha: los clientes la exigen. Implementar controles de seguridad y privacidad de los datos y regular el uso de la IA son tanto una cuestión de reputación como de requisitos normativos”.

Quote Icon

El verdadero motor de la gobernanza de la IA y de los datos ya está en marcha: los clientes la exigen”.

Jennifer Belissent
Principal Data Strategist, Snowflake

La garantía de la IA se está convirtiendo en parte de la forma en que las empresas evalúan su preparación para la IA. La cuestión no es si una organización dispone de una declaración de IA responsable, sino si puede demostrar qué sistemas existen, qué controles se aplican, qué riesgos se aceptaron, qué resultados se revisaron y qué incidentes se notificaron y sirvieron de aprendizaje.

Principales marcos de gobernanza de la IA: Ley de IA de la UE, AI RMF del NIST e ISO 42001

Los marcos de gobernanza de la IA proporcionan a las organizaciones un lenguaje común para clasificar los riesgos, definir los controles y generar pruebas. Ningún marco cubre por sí solo todos los requisitos empresariales, pero tres referencias son ahora la base de muchas conversaciones sobre gobernanza:

  • La Ley de IA de la UE es un marco jurídico vinculante para los sistemas de IA que se comercializan o utilizan en el mercado de la UE. Utiliza una clasificación de riesgos para distinguir entre prácticas prohibidas, sistemas de IA de alto riesgo, obligaciones de transparencia y requisitos para los modelos de IA de uso general. Para las empresas, la Ley de IA es relevante incluso fuera de Europa, ya que sus categorías ofrecen a los equipos jurídicos, de riesgos y de tecnología una forma concreta de clasificar los casos de uso de IA, asignar obligaciones y preparar la evidencia necesaria para la evaluación de la conformidad cuando se requiera.
  • El marco AI Risk Management Framework (AI RMF) de NIST es un marco voluntario diseñado para ayudar a las organizaciones que diseñan, desarrollan, implementan o utilizan la IA a gestionar los riesgos y promover una IA fiable. El NIST organiza el marco en torno a funciones como gobernar, asignar, medir y gestionar, lo que lo hace útil para las empresas que crean programas interfuncionales para la gestión de riesgos de la IA, incluso cuando no están sujetas a una ley específica sobre IA.
  • La norma ISO/IEC 42001 es un estándar internacional para la gestión de sistemas de IA. Especifica requisitos para establecer, implementar, mantener y mejorar de forma continua un sistema de gestión de IA, lo que la hace relevante para las organizaciones que desean una estructura de gobernanza certificable en el desarrollo y el uso de la IA.

Otras referencias mundiales también son relevantes. Los principios de la OCDE sobre IA promueven una IA fiable, que respete los derechos humanos y apoye los valores democráticos; asimismo, un documento técnico del Departamento de Ciencia, Innovación y Tecnología del Reino Unido establece un enfoque de la regulación de la IA a favor de la innovación y basado en el contexto. En conjunto, estas referencias apuntan al mismo requisito operativo: las organizaciones necesitan mecanismos de gobernanza capaces de clasificar los riesgos, asignar responsabilidades, aplicar controles y aportar pruebas a medida que los sistemas de IA cambian.

Escucha una conversación sobre la ética y la regulación de la IA generativa:

Componentes clave de la gobernanza de la IA

Una gobernanza de la IA eficaz se basa en un conjunto de componentes interconectados que garantizan que los sistemas de IA se desarrollen y utilicen de forma responsable, segura y en consonancia con los objetivos de la organización. Los siguientes componentes reflejan una síntesis de los principales marcos de gobernanza de la IA:

Estrategia y supervisión

La gobernanza de la IA comienza con una dirección estratégica y una responsabilidad claras. Las organizaciones necesitan estructuras de liderazgo, políticas y procesos de toma de decisiones definidos para guiar la adopción y la gestión de la IA. Esto ayuda a que las iniciativas de IA se alineen con los objetivos empresariales y la tolerancia al riesgo.

Gestión de riesgos

La IA introduce una serie de riesgos, como el sesgo algorítmico, vulnerabilidades en la seguridad de la IA y resultados no deseados. Un marco de gobernanza sólido identifica, evalúa y mitiga estos riesgos a lo largo de todo el ciclo de vida de la IA, con procesos de monitorización continua y respuesta ante incidentes.

Gobernanza de datos

Dado que los sistemas de IA dependen en gran medida de los datos, la gobernanza debe garantizar que los datos sean precisos, seguros y se utilicen de forma responsable. Esto incluye gestionar la calidad de los datos, la privacidad y los controles de acceso, así como mantener un linaje de datos claro.

Gobernanza de modelos y gestión del ciclo de vida

La gobernanza de modelos se centra en cómo se desarrollan, prueban, implementan y mantienen los modelos de IA. Incluye estándares de validación, documentación, control de versiones y monitorización continua para garantizar que los modelos sigan siendo fiables y adecuados para su propósito a lo largo del tiempo.

Ética e IA responsable

Más allá del rendimiento técnico, los sistemas de IA deben adherirse a principios éticos. Los marcos de gobernanza abordan la equidad, la transparencia, la explicabilidad y la supervisión humana para reducir los daños y garantizar que los resultados estén alineados con los valores sociales y organizacionales.

Cumplimiento normativo y controles legales

Las organizaciones deben garantizar que sus sistemas de IA cumplan las leyes y normativas aplicables. Esto incluye mantener registros de auditoría, cumplir los requisitos de documentación, gestionar el riesgo de terceros y abordar cuestiones como la responsabilidad legal y la propiedad intelectual.

Seguridad y solidez

Los sistemas de IA deben estar protegidos frente al uso indebido, la manipulación y los ataques. La gobernanza incluye medidas de seguridad para datos y modelos, resiliencia frente a amenazas adversarias y controles para prevenir el acceso no autorizado o el uso dañino.

Transparencia y responsabilidad

Una documentación y una trazabilidad claras son esenciales para la confianza. Las organizaciones deben mantener registros de cómo se diseñan y operan los sistemas de IA, proporcionar explicaciones adecuadas de los resultados y establecer responsabilidades cuando surjan problemas.

Operaciones y monitorización

La gobernanza de la IA va más allá de la implementación. La monitorización continua garantiza que los sistemas funcionen según lo esperado, mientras que los ciclos de retroalimentación, las auditorías y los procesos de gestión de incidentes ayudan a las organizaciones a responder a los problemas y mejorar con el tiempo.

Cultura, formación y gestión de cambios

Una gobernanza eficaz depende tanto de las personas como de los procesos. Las organizaciones deben invertir en formación, promover prácticas de IA responsable y fomentar una cultura en la que las consideraciones éticas y la conciencia del riesgo estén integradas en la toma de decisiones diaria.

ERROR HABITUAL

Implementar la gobernanza como un conjunto de controles inconexos (en datos, modelos, prompts y aplicaciones) a menudo genera lagunas en la visibilidad y responsabilidad, lo que dificulta rastrear cómo se comportan los sistemas de IA o aplicar las políticas de forma coherente en producción.

IA responsable: principios que ponen en práctica la gobernanza

La IA responsable define lo que la organización intenta preservar a medida que la IA se integra en los procesos empresariales: equidad en los resultados, transparencia sobre el comportamiento del sistema, responsabilidad por las decisiones, privacidad para las personas afectadas, seguridad en condiciones esperadas e inesperadas e inclusión de los grupos que puedan verse afectados por el sistema.

Estos principios necesitan mecanismos operativos para ponerlos en práctica. Un principio de equidad se traduce en una auditoría de sesgos con umbrales documentados. Un principio de privacidad requiere minimización de datos, enmascaramiento, límites de conservación y controles de acceso. Un principio de supervisión humana se convierte en un flujo de revisión que define cuándo una persona debe aprobar, anular o investigar una recomendación generada por IA.

La gobernanza de la IA da estructura a la IA responsable. Conecta los principios con propietarios, artefactos y controles. El objetivo no es ralentizar todos los proyectos de IA con el mismo proceso, sino asegurarse de que los sistemas de mayor riesgo reciban el nivel de escrutinio, la documentación y la supervisión que su impacto requiere.

Transparencia y explicabilidad de la IA

La transparencia y la explicabilidad suelen tratarse conjuntamente, pero responden a preguntas diferentes. La transparencia de la IA se refiere a lo que las partes interesadas pueden ver del sistema: quién es su propietario, para qué usos está previsto, qué fuentes de datos utiliza, qué controles se aplican y qué limitaciones se han documentado. La explicabilidad se refiere a por qué se produjo una predicción, clasificación, recomendación o resultado generado concreto.

Un sistema de IA transparente podría mostrar su ficha de modelo, documentación, historial de versiones, estado de aprobación y limitaciones conocidas. Un sistema explicable podría mostrar qué variables influyeron en una predicción de riesgo crediticio o cuáles contribuyeron más a una puntuación de abandono de clientes. En el caso de los sistemas de IA generativa, también puede mostrar qué documentos recuperados respaldaron una respuesta generada como evidencia de fundamentación.

Los métodos técnicos de explicabilidad como SHAP y LIME pueden ayudar a los equipos a interpretar determinados resultados de los modelos, sobre todo en contextos de ML tabular, aunque son menos aplicables a los large language models (LLM). Pero la explicabilidad no es solo una técnica de modelo. En el caso de la IA generativa, también puede requerir evidencia de fundamentación de RAG, documentos fuente citados, registros de prompts y respuestas, explicación a posteriori, señales de confianza de los resultados y documentación clara sobre dónde no debe utilizarse el sistema.

Trazabilidad y auditabilidad de la IA

La trazabilidad de la IA conecta un resultado de IA con los activos y las acciones que lo produjeron. En un sistema de ML tradicional, esto puede incluir el linaje de datos, los datos de entrenamiento, las transformaciones de características, la versión del modelo, los resultados de validación y el momento de la implementación. En una aplicación de IA generativa, también puede incluir el prompt del sistema, el prompt del usuario, el contexto recuperado, el proveedor del modelo, la configuración de inferencia, las llamadas a herramientas y la respuesta generada. En un agente de IA, la trazabilidad puede extenderse al estado de la memoria, el historial de acciones y los sistemas externos a los que accedió el agente.

La auditabilidad es la capacidad de un auditor interno o independiente para verificar que el sistema funcionó según lo diseñado y que se aplicaron los controles requeridos. Depende de registros de auditoría, registros inmutables cuando corresponda, documentación de fichas de modelo, documentación del modelo, registros de notificación de incidentes de IA, historial de acceso y pruebas de control que puedan revisarse a posteriori.

Estas capacidades constituyen la base de las auditorías de cumplimiento de la IA. Un equipo de gobernanza no puede evaluar de forma creíble si un sistema cumplió la política si no puede reconstruir qué datos se utilizaron, qué versión del modelo o del prompt estaba activa, qué usuario solicitó el resultado y qué acción se produjo a continuación. Por eso la trazabilidad de la IA suele necesitar tanto el linaje de datos como el linaje de modelos, junto con registros a nivel de aplicación que capturen los prompts, el contexto recuperado y el uso de herramientas.

Gobernanza de los datos de entrenamiento y auditoría de sesgos

La gobernanza de la IA comienza con los datos que entrenan, ajustan, fundamentan o evalúan el modelo. Un modelo entrenado con datos mal documentados puede reproducir sesgos históricos, exponer atributos sensibles, generar resultados poco fiables o fallar cuando se aplica a una población que no estaba representada en los datos originales. En un sistema de RAG, puede que el modelo no esté entrenado con documentos empresariales, pero las mismas preguntas de gobernanza siguen aplicándose al contenido recuperado: de dónde procede, quién es su propietario, cuál es su grado de actualidad, qué políticas de acceso se aplican y si es adecuado para la solicitud del usuario.

La gobernanza de los datos de entrenamiento abarca la procedencia, el consentimiento, las licencias, la calidad, la retención, el acceso, los atributos demográficos, la minimización de datos y el uso aprobado. En el caso de la gobernanza de datos de los LLM, el alcance también puede incluir la divulgación de los datos de preentrenamiento, los datos de ajuste fino supervisado, las representaciones vectoriales, los registros de prompts y los datos de evaluación. La gobernanza de datos sintéticos añade otra capa: cómo se generaron los datos sintéticos, si conservan la utilidad estadística, si filtran datos de origen y para qué casos de uso están aprobados.

La auditoría de sesgos comprueba si un sistema de IA produce disparidades inaceptables entre clases protegidas, atributos demográficos u otras cohortes relevantes. Ese trabajo depende de definiciones claras, datos representativos y un tratamiento cuidadoso de los atributos sensibles. En algunos casos, pueden necesitarse datos demográficos para comprobar la existencia de sesgos. En otros, recopilar o utilizar esos datos puede crear en sí mismo riesgos de privacidad y cumplimiento.

Gobernanza de la IA generativa y de los agentes de IA

La IA generativa y los agentes de IA amplían la superficie de gobernanza porque introducen nuevos artefactos y comportamientos que los programas de gobernanza de modelos más antiguos no estaban diseñados para gestionar. Un modelo de clasificación devuelve una puntuación o una categoría. Una aplicación de IA generativa puede producir un párrafo, resumir un documento, escribir código, generar una imagen o responder a una pregunta empresarial a partir del contexto recuperado. Un agente de IA puede ir más allá y seleccionar herramientas, elaborar planes, almacenar memoria y realizar acciones en distintos sistemas.

Gobernanza de la IA generativa

La gobernanza de la IA generativa abarca los datos, los prompts, los modelos, los pipelines de recuperación, los resultados y las divulgaciones que dan forma al contenido generado. La gobernanza de prompts define quién puede crear, modificar y aprobar los prompts del sistema, especialmente cuando los prompts codifican políticas, comportamientos de roles o restricciones de acceso. La gobernanza de los LLM rastrea qué modelo fundacional se utiliza, dónde se ejecuta, qué datos se comparten con él, cómo se filtran los resultados y qué obligaciones contractuales o de cumplimiento se aplican.

La gobernanza de la RAG es especialmente importante para los casos de uso empresariales, porque las respuestas generadas suelen depender de entradas recuperadas de documentos, tablas o bases de conocimiento. Un sistema de RAG gobernado necesita metadatos de procedencia, controles de acceso, comprobaciones de actualidad, citas de fuentes y métricas de evaluación que verifiquen la relevancia y la fundamentación de las respuestas. Sin esos controles, el sistema puede generar respuestas formuladas con seguridad a partir de contenido obsoleto, restringido o mal comprendido.

La divulgación de la IA y la transparencia de la IA generativa definen cuándo los usuarios, clientes o empleados deben saber que están interactuando con IA o recibiendo contenido generado por IA. La gobernanza de contenido también puede incluir estándares de procedencia, como C2PA, revisión humana de los resultados de alto impacto, marcas de agua cuando proceda y políticas para el material generado por IA publicado externamente.

Gobernanza de los agentes de IA

La gobernanza de los agentes de IA añade supervisión del uso de herramientas, controles de memoria de los agentes y reglas de coordinación multiagente. Un agente de asistencia que redacta una respuesta representa un perfil de riesgo, mientras que un agente que puede emitir reembolsos, actualizar registros de cuentas o consultar sistemas internos confidenciales representa otro. La gobernanza debe definir qué herramientas puede invocar el agente, qué permisos hereda, qué acciones requieren aprobación y cómo se registran las excepciones.

La memoria de los agentes constituye otro objeto de gobernanza. Si un agente almacena preferencias de usuario, contexto de proyectos o decisiones anteriores, los equipos necesitan reglas de retención, eliminación, acceso y privacidad, y determinar si la memoria puede influir en acciones futuras. Los sistemas multiagente añaden riesgo de coordinación: un agente puede recuperar datos, otro puede razonar sobre ellos y un tercero puede llevar a cabo una acción. El registro de auditoría debe mostrar cómo se conectan esos pasos.

La pregunta práctica de gobernanza es si la empresa puede restringir el comportamiento del agente sin depender únicamente del modelo. Las medidas de protección, los permisos, las políticas de datos, las aprobaciones de flujos de trabajo, los registros de rastreo y la notificación de incidentes ayudan a convertir los agentes de IA de un flujo de trabajo opaco en un sistema controlado.

CONSEJO RÁPIDO

Cuanta más autonomía tenga un agente de IA (memoria, acceso a herramientas o capacidad para realizar acciones), más controles de gobernanza necesitará en cuanto a permisos, aprobaciones y registros de auditoría.

Gobernanza, riesgo y alineación de modelos

La gobernanza de modelos gestiona cada modelo como un activo empresarial. Normalmente incluye el registro de modelos, las fichas de modelo, la documentación, la validación, los flujos de aprobación, la monitorización, la retirada y la propiedad. Un registro de modelos muestra qué modelos existen y dónde están desplegados. Una ficha de modelo recoge el uso previsto, los resultados de la evaluación, las limitaciones, las consideraciones éticas y las condiciones en las que no debe utilizarse el modelo.

El riesgo de modelo es el riesgo de que un modelo produzca resultados incorrectos, inadecuados o dañinos, o de que se utilice fuera de su contexto previsto. Las organizaciones de servicios financieros llevan mucho tiempo tratando la gestión del riesgo de modelos como una disciplina formal. SR 11-7, la consolidada directriz bancaria estadounidense sobre la gestión del riesgo de modelos, hacía hincapié en la gobernanza, la validación, los controles y la supervisión. En abril de 2026, la Reserva Federal publicó una directriz revisada destinada a reflejar un enfoque más basado en el riesgo.

La gobernanza de la IA toma elementos de la tradición de gestión del riesgo de modelos, pero los extiende a un conjunto más amplio de sistemas. Se puede utilizar un modelo de contraste (challenger) para comparar el rendimiento con el de un modelo en producción. La monitorización puede hacer un seguimiento de la degradación, la precisión, la latencia, el coste, la equidad o las tasas de resultados inseguros. La revisión de la IA responsable puede examinar si el caso de uso se ajusta a los principios de la organización, las obligaciones legales y las expectativas de las partes interesadas.

La alineación de modelos añade otra capa, especialmente en el caso de la IA generativa. La alineación plantea si un modelo o una aplicación de IA se comporta de forma coherente con los objetivos previstos, las políticas y los valores humanos. Técnicas como la IA constitucional pueden moldear el comportamiento del modelo durante el entrenamiento o el ajuste, pero la alineación empresarial también depende de los controles circundantes: casos de uso aprobados, revisión humana, medidas de protección, infraestructura de evaluación y vías de escalado claras cuando el sistema se comporta de forma inesperada.

Gobernanza y cumplimiento de la IA

El cumplimiento de la IA convierte los controles de gobernanza en evidencias. Una política puede establecer que los sistemas de alto riesgo requieren supervisión humana, pero un regulador o un cliente podría solicitar el flujo de aprobación, los nombres de los revisores, las fechas de revisión, el historial de incidencias y una prueba de que el flujo se aplicó antes de la implementación. La diferencia entre una política y un programa de cumplimiento es la capacidad de demostrar que la política funcionó en la práctica.

La asignación de controles ayuda a conectar las actividades de gobernanza de la IA con requisitos específicos derivados de leyes, estándares y políticas internas. Un único control (por ejemplo, el mantenimiento de un inventario de modelos) puede respaldar la Ley de IA de la UE, la norma ISO/IEC 42001, la gestión interna del riesgo y los cuestionarios de garantía para clientes. Un único artefacto, como una ficha de modelo o una evaluación de impacto de la IA, puede respaldar la transparencia, la responsabilidad, la revisión de riesgos y las pruebas de auditoría.

La documentación destinada a los reguladores debe ser precisa, estar actualizada y estar vinculada al sistema real. Esto incluye el propósito previsto del sistema de IA, las fuentes de datos, la clasificación de riesgos, los resultados de la evaluación, el modelo de supervisión humana, el plan de monitorización, el proceso de notificación de incidentes y el historial de cambios. En el caso de la IA generativa y los sistemas de agentes de IA, la documentación también debe cubrir los prompts, la fundamentación de RAG, el uso de herramientas, las medidas de protección, la procedencia del contenido y la revisión de los resultados cuando proceda.

Los programas de gobernanza de la IA suelen estancarse cuando el trabajo de cumplimiento se realiza después de la implementación. Un patrón más duradero consiste en integrar la documentación, la monitorización y las pruebas de control en el pipeline de gobernanza, de modo que cada caso de uso de IA aprobado deje tras de sí los registros necesarios para revisarlo, auditarlo y mejorarlo.

Cómo implementar la gobernanza de la IA

La gobernanza de la IA es más eficaz cuando opera junto a los sistemas que gobierna. Las reglas de políticas deben reflejarse en los registros de modelos, las políticas de datos, los controles de acceso, los flujos de aprobación, los paneles de monitorización y los informes de incidentes. De lo contrario, la gobernanza se convierte en un proceso paralelo que los equipos eluden cuando el trabajo de IA avanza con rapidez.

Una implementación práctica suele comenzar con seis pasos:

  1. Hacer un inventario de todos los modelos y casos de uso de IA: Elabora un inventario de modelos que incluya el ML tradicional, las aplicaciones de IA generativa, la IA integrada en las soluciones de los proveedores, los sistemas de RAG, los agentes de IA y los sistemas experimentales que ya podrían estar influyendo en el trabajo.
  2. Clasificar por riesgo: Utiliza un modelo de niveles de riesgo que refleje el impacto, la autonomía, la sensibilidad de los datos, la exposición de los usuarios y el alcance normativo.
  3. Asignar propietarios responsables y revisores: Cada sistema necesita un propietario responsable, un administrador técnico y una vía de revisión.
  4. Integrar los controles donde ya se ejecutan los datos y el modelo: Los controles son más eficaces cuando forman parte del plano de control de los datos, los modelos y las aplicaciones.
  5. Documentar, monitorizar y auditar de forma continua: La documentación de los modelos, las fichas de modelo, las evaluaciones de impacto de la IA, el linaje, el historial de acceso y los registros de auditoría deben actualizarse a medida que los sistemas cambian.
  6. Notificar los incidentes y aprender: La notificación de incidentes de IA debe recoger qué ocurrió, quién se vio afectado, qué control falló o faltaba y qué cambió después.
Quote Icon

La gobernanza de la IA es más eficaz cuando opera junto a los sistemas que gobierna”.

Por qué la gobernanza de la IA en Snowflake

La gobernanza de la IA se beneficia de la proximidad a los datos gobernados. Si las políticas de datos residen en un sistema, el desarrollo de modelos en otro, los prompts en otro y las aplicaciones de IA en otro lugar, los equipos dedican gran parte de su esfuerzo de gobernanza a conciliar inventarios, copiar la evidencia y tratar de deducir lo que ocurrió a posteriori.

Snowflake ofrece funcionalidades diseñadas para facilitar la gobernanza de la IA allí donde ya residen los datos gobernados. Snowflake Horizon Catalog proporciona una capa de gobernanza unificada para los datos y la IA, con funcionalidades como el control de acceso, el enmascaramiento de datos dinámico, las políticas de acceso a filas y la clasificación de datos.

Snowflake Compliance Center añade una capa de supervisión de la posición de seguridad de la cuenta. Evalúa las cuentas de Snowflake según las recomendaciones del escáner, genera hallazgos cuando detecta posibles riesgos de seguridad y proporciona orientación para su corrección.

Cortex Guard está diseñado para proporcionar una capa de seguridad en tiempo de ejecución para la IA generativa mediante el filtrado de respuestas de LLM potencialmente inseguras o dañinas cuando está activado en Snowflake Cortex AI Functions.

La certificación ISO/IEC 42001 de Snowflake añade otra señal de credibilidad. La certificación demuestra la existencia de estructuras de gobernanza y supervisión para gestionar el ciclo de vida de la IA, con énfasis en la transparencia y la responsabilidad en el desarrollo y el uso de la IA.

Un camino práctico hacia una IA más segura

Para las empresas, la adopción de la IA no puede producirse sin gobernanza. Ayuda a las organizaciones a saber qué hace un sistema de IA, quién es responsable de él, qué datos y modelos han determinado su comportamiento y si se aplicaron los controles adecuados antes de que un resultado se integrara en una decisión.

La gobernanza cobra aún más importancia a medida que la IA se extiende a aplicaciones generativas y agentes capaces de recuperar datos empresariales, generar contenido, invocar herramientas e influir en los flujos de trabajo operativos.

Para las empresas, este es el valor práctico de la gobernanza de la IA. Ayuda a los equipos a avanzar más rápido con una visión más clara del riesgo, a utilizar la IA en ámbitos donde la confianza y la responsabilidad son determinantes, y a demostrar a clientes, reguladores y partes interesadas internas cómo se gestionan los sistemas de IA a lo largo del tiempo.

CONCLUSIÓN CLAVE

La gobernanza de la IA permite a las empresas utilizar la IA de forma fiable mediante la alineación de políticas, controles y responsabilidad a lo largo de todo el ciclo de vida del sistema, con el fin de que los distintos enfoques de IA (desde los modelos tradicionales hasta la IA generativa y los agentes) sigan siendo transparentes, controlados y aptos para su uso en el mundo real.

Preguntas frecuentes

Las preguntas más frecuentes sobre la gobernanza de la IA, respondidas por expertos de Snowflake.

La gobernanza de datos regula los activos de datos: tablas, vistas, archivos, metadatos, linaje, calidad, propiedad, políticas de acceso y reglas de retención. La gobernanza de la IA gobierna los sistemas de IA, incluidos los datos que utilizan, los modelos de los que dependen, los prompts y el contexto recuperado que determinan los resultados, las aplicaciones o los agentes que los ponen en producción y las decisiones o acciones que respaldan.

Los principales marcos y estándares de gobernanza de la IA incluyen la Ley de IA de la UE, el marco AI Risk Management Framework del NIST y la norma ISO/IEC 42001.

La gobernanza de la IA suele ser responsabilidad compartida entre los patrocinadores ejecutivos, los equipos de riesgos y cumplimiento, el área jurídica, los equipos de seguridad, los responsables de datos, los equipos de IA y ML, los propietarios de producto y las partes interesadas del negocio.

La IA responsable hace referencia a los principios y valores (como la equidad, la transparencia y la seguridad) que definen cómo deben comportarse los sistemas de IA. La gobernanza de la IA es el conjunto de políticas, procesos y controles que se utilizan para garantizar que esos principios se cumplan realmente en la práctica.

Explorar los recursos sobre IA

Explorar los temas de IA

Análisis en profundidad de todos los aspectos de la inteligencia artificial