¿Están tus datos preparados para la IA? ¿Y tú?

Los datos listos para la inteligencia artificial (IA) van mucho más allá del viejo dicho que dice que si los datos son de mala calidad, los resultados serán malos. Por supuesto, nadie quiere datos de mala calidad, pero como dice otro refrán: “Lo que para uno es basura, para otro es un tesoro”. La clave está en saber qué necesitas para una iniciativa concreta, pero también en saber con qué cuentas. Los datos deben evaluarse, gestionarse y gobernarse, lo que incluye un etiquetado y una publicación detallados. Estos dos últimos aspectos son la clave para la reutilización, el santo grial de una IA eficaz y eficiente. 

Usando una analogía culinaria, preparar datos para la IA es algo más que preparar una simple ensalada. En la cocina, los ingredientes crudos deben prepararse para recetas específicas. Las patatas pueden necesitar cortarse en rodajas, en dados o rallarse, según lo que estés cocinando. Pero antes de llegar a ese paso, tienes que encontrar las patatas. Probablemente también tendrás que limpiarlas. Y tendrás que encontrar los demás ingredientes que van con ellas. Los ingredientes también deben estar etiquetados: no querrías confundir el azúcar con la sal, ni el pimentón ahumado con la cayena. 

Los datos listos para la IA son como esos ingredientes preparados, listos para integrarse en el modelo de IA. En el reciente Snowflake Summit, anunciamos funciones del AI Data Cloud que abordarán las características clave de los datos listos para la IA. Estas son algunas de ellas:

• Calidad: No hace falta decir que los mejores chefs utilizan ingredientes de calidad. Snowflake permite a los clientes definir estándares de calidad (por ejemplo, actualización, duplicación y medidas personalizadas) y supervisarlos con funciones métricas de datos. La supervisión en tiempo real permite obtener comentarios en tiempo real sobre el rendimiento de las consultas y los datos modificados, lo que facilita la supervisión continua de la calidad de los datos. Ahora, Snowflake Cortex AI puede utilizarse para automatizar la limpieza de datos, detectar anomalías, estandarizar conjuntos de datos e incluso sugerir valores ausentes, lo que reduce el esfuerzo manual y mejora la coherencia.
• Diversidad: La despensa debe estar bien surtida. Del mismo modo, la diversidad de datos contribuye a garantizar resultados de IA de calidad. Snowflake permite a los clientes almacenar, analizar y aplicar la IA a tipos de datos diversos. La compatibilidad con formatos de código abierto permite a los clientes acceder a un abanico aún más amplio, incluidos los datos que residen fuera de los entornos de Snowflake. Además, ampliar los datos de entrenamiento para incluir datos de partners o datos adquiridos de proveedores externos garantiza aún más la diversidad. La generación de datos sintéticos puede hacer que los datos confidenciales sean más accesibles o equilibrar la representación de los datos ausentes cuando se conocen los parámetros.
• Actualización: Por supuesto, quieres que tus ingredientes estén frescos. No hay nada peor que descubrir que un componente clave de tu plato ha perdido su sabor. Tener acceso a los datos allí donde residen siempre ha sido una propuesta de valor sólida de la plataforma de Snowflake, ya que proporciona a los modelos de IA acceso a la información más pertinente y actualizada. Y Snowpipe, con su servicio de ingesta de datos continua, automatiza los procesos de carga de datos, garantizando que estos estén disponibles para su análisis en cuanto llegan, lo que contribuye a su puntualidad.
• Gobernanza: Incluso los chefs pueden querer tener ciertos ingredientes bajo llave, como durante la temporada de trufas. Todas las nuevas funciones de gobernanza de Snowflake disponibles a través de Snowflake Horizon permiten controlar ese acceso: además, los derechos de uso se pueden definir con gran precisión y aplicar de manera estricta mediante funciones como los controles de acceso basados en roles, el enmascaramiento de datos, el etiquetado de objetos y las auditorías. La estrategia de Snowflake consiste en llevar los modelos de IA a los datos dentro de su entorno seguro, en lugar de mover los datos empresariales confidenciales. Esto reduce significativamente los riesgos de seguridad y gobernanza asociados a las herramientas de IA externas. Es como asegurarse de que la cocina se hace en tu propia cocina, en lugar de llevar tus ingredientes a casa del vecino.
• Descubrimiento: Evidentemente, los chefs necesitan poder encontrar sus ingredientes, idealmente en recipientes etiquetados. Y quieren conocer la composición y el origen, con el mayor detalle posible. Piensa en la información nutricional como si fueran metadatos. Un catálogo de datos, como Snowflake Horizon Catalog, proporciona un inventario de activos de datos con metadatos, contexto y detalles de accesibilidad, lo que facilita la búsqueda y comprensión de los datos. La interfaz Snowsight de Snowflake permite el autocompletado, la generación automática de perfiles de datos, las visualizaciones y los paneles para una exploración rápida de los datos. Y Snowflake Marketplace facilita el descubrimiento y el acceso sencillos a conjuntos de datos diversos y aplicaciones prediseñadas, tanto con datos internos como de fuentes externas. Eso convierte esta cocina en un espacio verdaderamente impresionante para cualquier chef.

En resumen, los datos listos para la IA no son un simple añadido opcional. Si quieres una IA eficaz y eficiente, debe estar bien entrenada. Los datos relevantes y limpios hacen que tus modelos de IA rindan mejor. Cuando tus datos son fáciles de encontrar y de entender, dedicas menos tiempo a prepararlos. Imagina una cocina bien organizada, con botes de harina, azúcar y sal; un especiero con tarros etiquetados y fechados; y una nevera llena de ingredientes frescos. Con datos así, puedes crear, lanzar y escalar iniciativas de IA mucho más rápido, y fomentar la reutilización de datos en múltiples proyectos.

Los datos listos para la IA rara vez vienen “de serie”

Los datos listos para la IA no surgen solos. Rara vez existe una versión empaquetada y lista para usar. Puede que tengas suerte y encuentres alguna. Pero si desarrollas buenas prácticas de datos, puedes crear tu propio mercado interno donde los equipos encuentren los ingredientes que necesitan.  

La responsabilidad de contar con datos listos para la IA no recae en una sola persona o departamento; se trata de un esfuerzo compartido e interfuncional con varias partes interesadas en toda la organización, desde el liderazgo hasta los equipos técnicos, los propietarios de datos y quienes los utilizarán. En términos culinarios, hace falta una brigada entera, desde el chef hasta el último cocinero. 

En lugar de centrarte en nuevos roles, céntrate en las responsabilidades, es decir, en lo que necesitas lograr en vez de a quién necesitas contratar. A continuación se ofrece una descripción general de lo que podrías necesitar: 

• Los directivos comprometidos son fundamentales para el éxito de las iniciativas de IA a medida que aumentan en una organización. Los directivos definen los objetivos empresariales generales con los que debe alinearse la estrategia de datos e IA. Asignan el presupuesto, el personal y la infraestructura tecnológica necesarios para respaldar la consecución de estos objetivos, y promueven una cultura que fomenta el uso eficaz y responsable de los datos y la IA. Los directivos son, en última instancia, los responsables de lo que ocurre en sus organizaciones, ya sea de los beneficios comunicados al final del trimestre o de la filtración de datos que se produjo el fin de semana. Un comité directivo para la IA debe garantizar que el equipo de liderazgo esté informado e implicado.
• El director de datos (el CDO o el responsable de datos de mayor rango), aunque forme parte del comité directivo, es responsable de definir e implementar la estrategia, las políticas y los procedimientos de datos para garantizar la calidad, la seguridad y la accesibilidad de los datos. El CDO o su equivalente trabaja con otras unidades de negocio para establecer roles y responsabilidades claros en materia de propiedad y administración de datos, y para desarrollar las directrices de gestión del ciclo de vida de los datos, desde la recopilación hasta el almacenamiento, el procesamiento y el uso. El rol del CDO varía según la empresa, pero debe actuar como chef ejecutivo (volviendo a la analogía culinaria), aunque las tareas se distribuyan entre las unidades de negocio. El CDO dirigirá un consejo de datos para coordinar políticas, requisitos y uso. 
• La propiedad y la administración de datos residen en las unidades de negocio específicas que mejor conocen un conjunto de datos determinado. La propiedad implica responsabilidad. La administración implica ser responsable de la precisión, la integridad y la coherencia de los datos. Quienes realizan estas tareas garantizan que los datos estén correctamente organizados —recopilados, documentados y mantenidos de acuerdo con las políticas de gobernanza establecidas— y que los datos de su dominio cumplan con las normativas pertinentes y las políticas internas. Estos son los cocineros de línea. Las organizaciones más pequeñas o más centralizadas mantienen la propiedad y la administración de datos en un único equipo de datos, pero a gran escala los equipos centrales se convierten en un cuello de botella. Sin embargo, las tareas no tienen que distribuirse por igual entre todas las unidades de negocio. La propiedad y la administración híbridas siguen siendo habituales.
• Las tareas de plataforma e ingeniería de datos (crear y mantener la infraestructura de datos, los flujos y las plataformas que recopilan, almacenan, procesan y ponen los datos a disposición de los modelos de IA) suelen recaer en el departamento de tecnología de la información (TI). Sin embargo, quienes desempeñan estos roles colaboran para integrar datos de fuentes dispares, garantizar la coherencia y la interoperabilidad, e implementar controles de seguridad de datos, gestión del acceso y privacidad. El trabajo de ingeniería de datos también puede distribuirse.
• Las revisiones de cumplimiento, legales y éticas suelen realizarlas equipos de expertos específicos. Desempeñan un rol consultivo para garantizar que todas las prácticas de datos, especialmente las relacionadas con información confidencial o personal, cumplan con las normativas de privacidad de datos pertinentes (como el RGPD o la CCPA) y con las normativas de IA emergentes (como la Ley de IA de la UE). Algunas empresas, como Salesforce, cuentan con una oficina de ética que supervisa el uso de la IA en los equipos de producto y entre los clientes. Desarrollan marcos para identificar y mitigar sesgos en los datos y en los modelos de IA, y supervisan el uso para garantizar la equidad, la transparencia y la responsabilidad. 
• Los científicos de datos y los ingenieros de IA y ML son roles, no tareas, y merecen ser reconocidos como tales. Como principales consumidores de datos listos para la IA, son responsables de articular las necesidades de datos específicas para sus modelos de IA (por ejemplo, volumen, variedad, relevancia y requisitos de etiquetado). Analizan los datos en busca de problemas de calidad, sesgos e idoneidad para el entrenamiento de IA, y proporcionan información a los propietarios de datos y a los equipos de gobernanza sobre la calidad, la accesibilidad y las carencias de los datos que deben abordarse para mejorar el rendimiento del modelo.

Aunque estos roles y responsabilidades son importantes, un programa de IA eficaz incluye un grupo de trabajo colaborativo e interfuncional que coordina los requisitos y comparte planes y prácticas. Cada participante comprende su propio papel en el ciclo de vida de los datos, pero también es responsable de facilitar la reutilización como medio de aprovechamiento, escalabilidad y mayor eficiencia. La distribución de roles y responsabilidades no implica que todo valga; requiere coordinación para garantizar una IA eficaz. Del mismo modo, en una cocina profesional, el chef ejecutivo supervisa toda la operación, pero desde cada rol se colabora con comunicación clara, coordinación y trabajo en equipo para garantizar que los cocineros de línea puedan servir sus platos con precisión. 

No obstante, recuerda que no existe una solución única para todos. Algunas unidades de negocio pueden tener más autonomía que otras. No todas las responsabilidades requerirán la definición de nuevos roles ni la asignación de personal. En una mesa redonda reciente de Snowflake, un cliente argumentó que cada producto de datos requería tres nuevos roles. No todo el mundo estuvo de acuerdo. Es más importante hacer un inventario de las responsabilidades. Algunas podrían distribuirse entre los roles existentes. El reto entonces es ofrecer incentivos para animar a quienes ya ocupan roles existentes a asumir nuevas tareas, o a sustituir las tareas actuales por formas de trabajar nuevas y más eficientes. Empieza poco a poco con los objetivos más asequibles para demostrar nuevas formas de trabajar e impulsar el cambio.