Créez et déployez très facilement des solutions de ML à l’aide de Snowpark ML, de Snowflake Notebooks et du Snowflake Feature Store
Snowflake a largement investi dans l’extension du Data Cloud vers les workloads d’IA/de ML. Dès 2021, Snowflake a lancé Snowpark, un ensemble de bibliothèques et environnements d’exécution dans Snowflake, pour déployer et exécuter Python et d’autres langages de programmation courants de manière sécurisée.
Depuis, nous avons étendu les possibilités d’utilisation de la plateforme Snowflake, notamment son moteur de calcul élastique, pour accélérer le parcours de développement de l’IA/du ML jusqu’à la production. Comme Snowpark tire parti de l’évolutivité et de la performance du stockage et du calcul de Snowflake, tant intégrés du point de vue logique que séparés du point de vue physique, nos clients observent, en moyenne, des performances 3,5 fois plus rapides et des coûts réduits de 34 % pour leurs cas d’usage d’IA/de ML et de data engineering. Depuis septembre 2023, de nombreuses entreprises peuvent rapprocher le traitement des données et plus de 35 % des clients de Snowflake utilisent Snowpark chaque semaine.
Pour accélérer l’ensemble du workflow de ML, du développement à la production, la plateforme de Snowflake continue d’évoluer avec une nouvelle interface de développement et des fonctionnalités supplémentaires pour commercialiser à la fois des fonctionnalités et des modèles en toute sécurité. Découvrons ces annonces !
Développement interactif avec SQL et Python dans Snowflake Notebooks
Snowflake Notebooks, en private preview, est une nouvelle interface de développement qui offre un environnement de programmation cellulaire et interactif pour les utilisateurs de Python et SQL qui souhaitent explorer, traiter et expérimenter avec leurs données dans Snowpark. Grâce aux notebooks intégrés à Snowflake, les développeurs peuvent écrire et exécuter du code, entraîner et déployer des modèles à l’aide de Snowpark ML, visualiser les résultats avec les éléments graphiques de Streamlit et plus encore, le tout au sein de la plateforme unifiée et sécurisée de Snowflake. Et comme le notebook est intégré nativement dans les contrôles d’accès basés sur les rôles (RBAC) de Snowflake, il est facile de collaborer et de partager de manière sécurisée votre code et vos résultats sans compromettre les données d’entreprise. Pour la data science et le machine learning, la présentation cellulaire dans Snowflake Notebooks élargit le champ des possibles des tâches d’expérimentation et d’exploration : les développeurs peuvent écrire et exécuter du code, visualiser les résultats, saisir des notes et partager les informations dans un endroit centralisé.
Rationalisez les workflows d’IA/de ML avec la bibliothèque de SnowparkML
Snowpark ML inclut l’infrastructure sous-jacente et la bibliothèque de Python pour les workflows de ML de bout en bout dans Snowflake, notamment les API Snowpark ML Modeling et Snowpark ML Operations. Snowpark ML unifie le pré-traitement des données, le feature engineering, l’entraînement des modèles et le déploiement intégré dans une seule bibliothèque Python simple à utiliser. Nous avons récemment annoncé l’API Snowpark ML Modeling (bientôt disponible pour tous nos clients), qui permet d’utiliser les principaux environnements de ML, tels que Scikit-learn et XGBoost, pour le feature engineering et l’entraînement des modèles sans déplacer les données hors de Snowflake. Snowpark ML facilite le développement intuitif de modèles à l’aide de ces environnements via les principales API Python. En arrière-plan, Snowpark ML exécute les données en parallèle en tirant parti de la plateforme de calcul élastique de Snowflake.
Pour Snowpark ML Operations, Snowpark Model Registry (bientôt en public preview) permet le déploiement et la gestion évolutifs et sécurisés de modèles dans Snowflake, et inclut une prise en charge étendue pour le déploiement de modèles d’apprentissage avancé à partir de Tensorflow et Pytorch et de LLM en open source depuis Hugging Face vers Snowpark Container Services (incluant les pools de calcul de processeurs graphiques). Snowpark Model Registry tire désormais parti d’une entité de modèle de Snowflake native dotée d’une prise en charge de versions intégrée, d’un contrôle d’accès basé sur les rôles et d’une API SQL pour une gestion plus rationalisée répondant aux besoins des utilisateurs de SQL et de Python.
Stockez, gérez et automatisez les pipelines de fonctionnalités avec le Snowflake Feature Store
Le Snowflake Feature Store (en private preview) est une solution intégrée destinée aux data scientists et aux ML engineers pour créer, stocker, gérer et fournir des fonctionnalités de ML pour l’inférence et l’entraînement de modèles. Il s’agit d’API Python accessibles via la bibliothèque de Snowpark ML et d’interfaces SQL pour la définition, la gestion et la récupération des fonctionnalités, ainsi que d’une infrastructure gérée pour la gestion des métadonnées des fonctionnalités et le traitement continu des fonctionnalités. Avec le Snowflake Feature Store, les équipes de ML peuvent garantir une source de vérité unique et à jour pour les fonctionnalités utilisées dans l’inférence et l’entraînement des modèles.
Et maintenant?
Snowflake continue à faciliter la conception et le déploiement transparents et sécurisés de fonctionnalités et de modèles pour ses clients sur une plateforme unique, pour plus de développements d’IA/de ML directement là où se trouvent les données. Visualisez la démo de Snowpark ML à partir de Snowday pour découvrir les derniers lancements en action. En outre, Snowflake permet aux utilisateurs de tirer parti de l’IA générative plus facilement. Vous pouvez en savoir plus sur les récentes annonces, notamment Snowflake Cortex ici et les expériences optimisées par des LLM conçues sur Snowflake Cortex ici.
Ressources :
Auteurs
