Acabar con los silos de datos: crear, implementar y ofrecer modelos a escala con Snowflake ML

A pesar de los mejores esfuerzos de muchos equipos de ML, la mayoría de los modelos nunca llegan a producción debido a herramientas dispares, que a menudo conducen a flujos de datos y de aprendizaje automático (ML) fragmentados y a una gestión compleja de infraestructuras. Snowflake se ha centrado constantemente en facilitar y acelerar la incorporación de modelos avanzados en producción. En 2024, lanzamos más de 200 funciones de IA, incluido un conjunto completo de funciones de ML de extremo a extremo en Snowflake ML, nuestro conjunto integrado de capacidades para el desarrollo, la inferencia y la operacionalización de modelos de aprendizaje automático. Nos complace continuar este año con los lanzamientos al anunciar la disponibilidad general de las siguientes funciones para flujos de trabajo de ML con tecnología de GPU para workloads de producción: 

• Desarrollo: Snowflake Notebooks on Container Runtime, ahora con disponibilidad general en AWS y en vista previa pública en Azure, optimiza la carga de datos y distribuye el entrenamiento de modelos y el ajuste de hiperparámetros en varias CPU o GPU, en un entorno de contenedores totalmente gestionado que se ejecuta dentro del perímetro de seguridad de Snowflake con acceso seguro e instantáneo a tus datos. Snowflake ML también admite la capacidad de generar y utilizar datos sintéticos, ahora en vista previa pública. 

• Inferencia: El modelo Snowpark Container Services, ahora con disponibilidad general tanto en AWS como en Azure, ofrece una inferencia distribuida fácil y eficaz con CPU o GPU para cualquier modelo, al margen de donde se haya entrenado. 

• Supervisión: ML Observability, ahora con disponibilidad general en todas las regiones, proporciona herramientas integradas para supervisar y establecer alertas sobre métricas de calidad, como el rendimiento y la desviación, para los modelos que ejecutan o almacenan la inferencia en Snowflake. 

• Gobernanza: Los objetos y flujos de trabajo de ML están totalmente integrados con las capacidades de gobernanza de Snowflake Horizon, incluidos el linaje de datos y ML, ahora con disponibilidad general.

De noviembre de 2024 a enero de 2025, más de 4000 clientes utilizaron las capacidades de IA de Snowflake cada semana. Uno de estos clientes es Scene+, un importante programa de fidelidad de clientes en Canadá que utiliza Snowflake ML para optimizar y mejorar sus workloads de ML.

Desarrollo

Snowflake Notebooks on Container Runtime está diseñado específicamente para el desarrollo de ML a gran escala, sin ninguna gestión ni configuración de la infraestructura, con un rendimiento de entrenamiento competitivo. 

En el caso del entrenamiento con ajustes predeterminados listos para usar para Snowflake Notebooks on Container Runtime, nuestros indicadores muestran que XGBoost distribuido en Snowflake es dos veces más rápido para los datos tabulares en comparación con una solución gestionada de Spark. En el caso de los datos de imagen, ejecutar PyTorch distribuido en Snowflake ML, también con ajustes estándar, dio como resultado un procesamiento más de diez veces más rápido para un conjunto de datos de 50 000 imágenes en comparación con la misma solución gestionada de Spark. Con Snowflake ML, los científicos de datos y los ingenieros de ML dedican mucho menos tiempo a la infraestructura y la escalabilidad, y pueden dedicar más tiempo a desarrollar y optimizar sus modelos de ML, así como a centrarse en el rápido impacto empresarial.

Con tan solo unos clics, Container Runtime elimina la gestión de la infraestructura y acelera el entrenamiento del ML al proporcionar:

• Una sencilla configuración de notebook para seleccionar un grupo de recursos de cómputo, que permite a los científicos de datos elegir entre grupos de CPU o GPU para satisfacer las necesidades de sus tareas de entrenamiento. Todas las cuentas de clientes se aprovisionan automáticamente para tener acceso a grupos predeterminados de recursos de cómputo de CPU y GPU, que solo se utilizan durante una sesión de notebook activa y se suspenden automáticamente cuando está inactiva. Consulta más información en la documentación.

• Un conjunto de imágenes específicas de CPU y GPU preinstaladas con las bibliotecas y marcos más recientes y populares (PyTorch, XGBoost, LightGBM, scikit-learn y muchos más) que respaldan el desarrollo del ML, para que los científicos de datos puedan poner en marcha Snowflake Notebook y profundizar en su trabajo.

• Acceso seguro a repositorios de código abierto mediante pip y la capacidad de incorporar cualquier modelo desde centros como Hugging Face (consulta el ejemplo aquí).

• API de ingesta de datos optimizadas que ofrecen una materialización eficiente de las tablas de Snowflake como pandas o PyTorch DataFrames. Los datos se ingieren de forma eficiente en paralelo y aparecen en el notebook como DataFrame mediante la paralelización en varias CPU o GPU. Consulta más información en la documentación.

• API de optimización de hiperparámetros y de entrenamiento de modelos distribuidos que amplían las conocidas interfaces de código abierto de XGBoost, LightGBM y PyTorch, pero distribuyen el procesamiento entre varias CPU o GPU sin necesidad de orquestar la infraestructura subyacente (consulta el ejemplo aquí).

Muchas empresas ya utilizan Container Runtime para crear casos de uso de ML avanzados de forma rentable y con fácil acceso a las GPU. Entre estos clientes se incluyen CHG Healthcare, Keysight Technologies y Avios.

CHG Healthcare

CHG Healthcare, una empresa de personal sanitario con más de 45 años de experiencia en el sector, utiliza la IA y el ML para impulsar sus soluciones de personal de plantilla con 700 000 profesionales médicos que representan 130 especialidades médicas. CHG desarrolla y produce sus modelos de ML de extremo a extremo en Snowflake ML. 

“El uso de las GPU de Snowflake Notebooks on Container Runtime resultó ser la solución más rentable para nuestras necesidades de aprendizaje automático”, afirma Andrew Christensen, Data Scientist de CHG Healthcare. “Apreciamos la capacidad de aprovechar el procesamiento paralelo de Snowflake con cualquier biblioteca de código abierto en Snowflake ML, lo que ofrece flexibilidad y una mayor eficiencia para nuestros flujos de trabajo”.

Keysight Technologies

Keysight Technologies es un proveedor líder de soluciones de pruebas y diseño electrónico. Con más de 5500 millones de dólares en ingresos globales y más de 33 000 clientes en 13 sectores, Keysight posee más de 3800 patentes de sus innovaciones. Keysight crea modelos escalables de ventas y previsiones en Snowflake ML con Container Runtime.

“Después de probar Snowflake Notebooks on Container Runtime, podemos decir que la experiencia ha sido increíble”, afirma Krishna Moleyar, Analytics and Automation for IT Global Applications, Keysight Technologies. “La infraestructura flexible de contenedores respaldada por un procesamiento distribuido tanto en CPU como en GPU, la carga de datos optimizada y la integración fluida con [Snowflake] Model Registry han mejorado nuestra eficiencia en cuanto al flujo de trabajo”.

Avios

Avios, líder en premios de viajes con más de 40 millones de miembros y 1500 partners, utiliza Snowflake Notebooks on Container Runtime para realizar análisis más profundos y tareas de análisis de datos con la flexibilidad que necesita la empresa.

“Me ha gustado mucho usar Snowflake Notebooks on Container Runtime por la flexibilidad y velocidad que ofrecen”, comenta Olivia Brooker, Data Scientist de Avios. “Puedo ejecutar mi código sin preocuparme de que se agote el tiempo ni de que se olviden las variables. Al permitir la integración de PyPI, también tengo la ventaja añadida de utilizar una gama más amplia de paquetes de Python, lo que flexibiliza mis tareas de análisis y ciencia de datos”.

Para crear modelos y, a la vez, mantener la privacidad de conjuntos de datos confidenciales o generar fácilmente nuevos datos para enriquecer el entrenamiento, Snowflake también admite la generación de datos sintéticos fácil y segura (en vista previa pública). Se trata de una potente capacidad que permite a los científicos de datos crear flujos y modelos sobre los datos sin poner en peligro los atributos confidenciales y sin tener que esperar largos y engorrosos procesos de aprobación. El conjunto de datos sintéticos tiene las mismas características que el conjunto de datos de origen, como nombre, número y tipo de datos de columnas, y el mismo o menor número de filas.

Modelos en producción

Independientemente de dónde se cree el modelo, Snowflake ML facilita la ejecución de la inferencia a escala de producción y la gestión del ciclo de vida del modelo con seguridad y gobernanza integradas. Después de registrar un modelo en el Model Registry de Snowflake, puede usarse sin problemas para la inferencia distribuida mediante el servicio de Model Serving in Snowpark Container Services (SPCS). Con esta capacidad, tus workloads de inferencia pueden aprovechar los clústeres de cómputo de la GPU, ejecutar modelos grandes, como representaciones vectoriales de Hugging Face u otros modelos de transformador, y utilizar cualquier paquete de Python de código abierto o repositorios privados. También puedes implementar modelos en un punto de conexión de REST API para que tus aplicaciones invoquen tu inferencia de modelos para aplicaciones de baja latencia (el punto de conexión en línea está en vista previa pública). Con las soluciones de registro e inferencia de modelos, los usuarios ahora pueden utilizar fácilmente cualquier modelo de ML entrenado dentro o fuera de Snowflake, mediante el uso de uno de los tipos de modelos integrados o mediante la API de modelos personalizados para incorporar cualquier otro tipo de modelo, incluidos los flujos de preprocesamiento y posprocesamiento y los modelos particionados, para ejecutar una inferencia escalable y distribuida en almacenes de datos virtuales o en SPCS en función de las necesidades del workload. 

Jahez Group, una empresa de comidas a domicilio con sede en Arabia Saudí, utiliza el servicio de modelos en SPCS para producir modelos que optimizan la logística y maximizan la satisfacción del cliente, ya que garantiza las entregas a los clientes en los 30 minutos posteriores al pedido. 

“Model Serving in Snowpark Container Services ayudó enormemente con nuestro ciclo de iteraciones entre versiones de modelos, ya que permitió actualizaciones rápidas y redujo los retrasos de implementación”, afirma Marwan AlShehri, Senior Data Engineer de Jahez Group. “Gracias a la compatibilidad con las capacidades de escalabilidad automática, la producción de modelos jamás ha sido tan sencilla. El increíble apoyo del equipo de Snowflake nos ayudó a lograr una inferencia en línea de menos de un segundo para realizar predicciones en tiempo real en nuestro caso de uso de tiempo estimado de llegada. Esto ha mejorado la asignación de pedidos a los repartidores y la optimización del proceso de entrega, lo que nos ha permitido reducir costes y aumentar la eficiencia”.

Supervisión y alertas

En producción, el comportamiento de los modelos puede cambiar con el tiempo debido al conocimiento incompleto del mundo en el entrenamiento de datos, las desviaciones de datos de entrada y los problemas de calidad de los datos. Los cambios en los datos o en el entorno pueden tener un gran impacto en la calidad del modelo.

ML Observability de Snowflake ofrece la capacidad de supervisar el rendimiento de los modelos, la desviación de la puntuación de los modelos y la desviación del valor de las funciones cuando las inferencias o los registros de predicción se almacenan en una tabla de Snowflake, sin importar dónde se haya entrenado o implementado el modelo. Los resultados de la supervisión se pueden consultar mediante API de Python o SQL y ver desde la interfaz de usuario vinculada al registro del modelo, y cuenta con la capacidad de establecer fácilmente alertas en tus umbrales personalizados.

Storio Group, líder europeo en productos fotográficos personalizados y regalos para hacer las delicias de más de 11 millones de clientes, produce modelos con funciones MLOps integradas en Snowflake, incluida ML Observability. 

“En Storio, hemos desarrollado una plataforma MLOps útil, escalable y bien gobernada en solo unos meses, desde el concepto hasta la producción, en Snowflake ML”, afirma Dennis Verheijden, Senior ML Engineer de Storio Group. “Al combinar la nueva función ML Observability con las funciones de Snowflake existentes, como Tablas dinámicas y ML Lineage, pudimos automatizar la observabilidad de modelos para los modelos entrenados en nuestra plataforma. El resultado es que, para cada modelo implementado, tenemos paneles automatizados que describen la evaluación y comparación de los modelos actualizados y la desviación de funciones a lo largo del tiempo. Esto permite a los científicos de datos centrarse en generar valor mientras la plataforma se encarga de la implementación de la observabilidad y la supervisión”. 

Gobernanza subyacente 

La columna vertebral de Snowflake ML es la integración completa con Snowflake Horizon Catalog, la solución integrada de gobernanza y descubrimiento de datos que incluye capacidades de cumplimiento, seguridad, privacidad y colaboración. Todos los datos, funciones y modelos de Snowflake se rigen por controles de acceso basados en roles (RBAC) en todas las nubes, lo que permite a las organizaciones gestionar el acceso a escala, restringiendo el acceso confidencial a los roles empresariales adecuados. Snowflake Model Management se basa en esta sólida base para la gobernanza de datos y proporciona formas flexibles y seguras de gestionar el ciclo de vida del modelo en producción.  

Para llevar un seguimiento del linaje completo, el historial de acceso y los registros de los datos de ML y artefactos, los datos de Snowflake y ML Lineage ayudan a visualizar fácilmente el flujo de datos desde su origen hasta su destino final. El grafo de linaje admite completamente todos los objetos de ML creados en Snowflake —características, conjuntos de datos y modelos—, lo que permite una trazabilidad completa de los flujos de ML y facilita el cumplimiento normativo y la auditoría, así como la reproducibilidad y solidez mejorada de los workloads de ML.

Primeros pasos

Con estos últimos anuncios de disponibilidad general, los científicos de datos y los ingenieros de ML pueden ampliar con confianza los flujos de trabajo en producción en Snowflake ML. 

Los siguientes recursos son la forma más sencilla de empezar a usar estas nuevas capacidades: 

• Desarrollo: Prueba esta introducción a Container Runtime, que te guiará a través de la experiencia de crear un notebook y desarrollar un modelo de ML simple, y sigue este vídeo para principiantes.

• Inferencia: Comienza con este ejemplo de generación de representaciones vectoriales con un vídeo complementario.

• Supervisión: Sigue esta guía quickstart para comenzar a usar ML Observability y mira una demostración dirigida por expertos aquí.

Para casos de uso avanzados adicionales, echa un vistazo a las siguientes soluciones: 

• Entrenar un modelo XGboost con GPU mediante Snowflake Notebooks

• Crear un modelo de recomendaciones mediante Pytorch distribuido en Snowflake ML

• Detección de defectos con Pytorch distribuido en Snowflake ML