Snowflake ha invertido mucho para llevar el Data Cloud a los workloads de IA y ML. Ya en 2021 presentamos Snowpark, el conjunto de bibliotecas y entornos de tiempos de ejecución de Snowflake que implementa y procesa de forma segura Python y otros lenguajes de programación populares. 

Desde entonces, hemos mejorado las formas en las que puede usarse la plataforma de Snowflake, incluido su motor de procesamiento elástico, para acelerar la aplicación de inteligencia artificial (IA) y aprendizaje automático (machine learning, ML) desde las fases de desarrollo hasta la producción. Como Snowpark aprovecha la escala y el rendimiento del almacenamiento y el procesamiento de Snowflake, que se integran a nivel lógico pero están separados físicamente, nuestros clientes obtienen un rendimiento 3,5 veces más rápido y una reducción de los costes del 34 % en sus casos de uso de IA y ML e ingeniería de datos. Desde septiembre de 2023, hemos observado que muchas organizaciones ya se han beneficiado del procesamiento directo de los datos, y más del 35 % de los clientes de Snowflake usan Snowpark todas las semanas. 

La plataforma de Snowflake sigue evolucionando para acelerar todo el flujo de trabajo de ML, desde el desarrollo hasta la producción. Por eso, incorpora una nueva interfaz de desarrollo y más funcionalidades para trasladar de forma segura funciones y modelos a la producción. Veamos las novedades. 

Snowflake Notebooks, en vista previa privada, es una nueva interfaz de desarrollo que ofrece un entorno de programación interactivo basado en celdas para que los usuarios de Python y SQL puedan explorar, procesar y experimentar con los datos en Snowpark. Los cuadernos integrados de Snowflake permiten a los desarrolladores escribir y ejecutar código, entrenar e implementar modelos mediante Snowpark ML, visualizar resultados con los elementos de gráficos de Streamlit y mucho más; todo ello desde la plataforma unificada y segura de Snowflake. Y, dado que el cuaderno se integra de forma nativa en los controles de acceso basados en funciones (role-based access controls, RBAC) de Snowflake, resulta muy sencillo compartir y colaborar de forma segura en el código y los resultados sin poner en riesgo los datos empresariales. En relación con el aprendizaje automático y la ciencia de datos, el diseño basado en celdas de Snowflake Notebooks permite experimentar y explorar, ya que los desarrolladores pueden escribir y ejecutar código, visualizar resultados, tomar notas y compartir información desde el mismo lugar. 

Snowpark ML incorpora la biblioteca de Python y la infraestructura subyacente de los flujos de trabajo integrales de ML en Snowflake, como Snowpark ML Modeling API y Snowpark ML Operations API. Esta herramienta unifica el preprocesamiento de datos, la ingeniería de funciones y el entrenamiento y la implementación integrada de modelos en una única biblioteca de Python fácil de usar. Hace poco presentamos Snowpark ML Modeling API (pronto disponible de forma general). Esta API permite usar marcos de ML populares, como Scikit-learn y XGBoost, en ingeniería de funciones y entrenamiento de modelos sin necesidad de sacar los datos de Snowflake. Con Snowpark ML es posible desarrollar modelos de forma intuitiva mediante el uso de marcos en las conocidas API de Python. Snowpark ML ejecuta en segundo plano las operaciones de procesamiento de datos de forma paralela, lo que permite aprovechar la plataforma de procesamiento escalable de Snowflake.

En el caso de Snowpark ML Operations, Snowpark Model Registry (en vista previa pública próximamente) ofrece una gestión e implementación de modelos escalables y seguras en Snowflake. Además, incluye mayor compatibilidad para implementar modelos de aprendizaje profundo de Tensorflow y Pytorch, así como large language models (LLM) de código abierto de Hugging Face, en Snowpark Container Services (que incluye grupos de procesamiento de GPU). Snowpark Model Registry ahora se basa en una entidad de modelos nativa de Snowflake que incorpora compatibilidad entre versiones, control de acceso basado en funciones y una API de SQL para lograr una gestión optimizada tanto para usuarios de SQL como de Python.

Snowflake Feature Store (en vista previa privada) es una solución integrada que permite a los científicos de datos e ingenieros de ML crear, almacenar, gestionar y ofrecer funciones de ML para la inferencia y el entrenamiento de modelos. Incluye un conjunto de API de Python accesibles mediante la biblioteca de Snowpark ML e interfaces de SQL para definir, gestionar y recuperar funciones. También incorpora una infraestructura administrada para el procesamiento de funciones constante y la gestión de metadatos de funciones. Con Snowflake Feature Store, los equipos de ML pueden mantener una única fuente de verdad actualizada para las funciones utilizadas en la inferencia y el entrenamiento de modelos.  

Snowflake sigue facilitando a los clientes un desarrollo y una implementación de funciones y modelos de forma segura y cómoda en una única plataforma. Así, puede aplicarse un mayor desarrollo en IA y ML a los datos. Echa un vistazo a la demostración de Snowpark ML del Snowday para ver las últimas novedades en acción. Además de todo esto, Snowflake también ayuda a que cualquier usuario pueda aprovechar fácilmente la IA generativa. Puedes obtener más información sobre los anuncios recientes, como Snowflake Cortex, aquí, y profundizar en las experiencias basadas en LLM de Snowflake Cortex aquí. 

Recursos:

• Introducción a Snowpark ML para Python
• Documentación para desarrolladores de Snowpark ML
• Repositorio de ejemplos de Snowpark para Python
• Consigue una versión de prueba gratuita de Snowpark para Python
• ¿Tienes alguna pregunta? Plantéasela a la comunidad