Snowflake ha investito molto nell’estensione del Data Cloud ai workload AI/ML, iniziando nel 2021 con l’introduzione di Snowpark, il set di librerie e runtime all’interno di Snowflake che permette di sviluppare e distribuire in tutta sicurezza utilizzando Python e altri diffusi linguaggi di programmazione. 

Da allora abbiamo ampliato notevolmente la piattaforma Snowflake, incluso il motore di elaborazione elastico che consente di accelerare il percorso dei workload AI/ML, dallo sviluppo alla produzione. Poiché Snowpark beneficia della scalabilità e delle prestazioni rese possibili dalla separazione fisica integrata logicamente in Snowflake tra le risorse di storage e quelle di elaborazione, i nostri clienti registrano una mediana 3,5 volte superiore in termini di performance e del 34% inferiore in termini di costi per i casi d’uso di intelligenza artificiale/machine learning e data engineering. A settembre 2023 molte organizzazioni si avvalevano già della possibilità di portare l’elaborazione direttamente ai dati, e più del 35% dei clienti Snowflake utilizzava Snowpark settimanalmente. 

Per accelerare ulteriormente l’intero workflow ML, dallo sviluppo alla produzione, la piattaforma Snowflake continua a evolversi con una nuova interfaccia di sviluppo e ulteriori funzionalità per distribuire feature e modelli in tutta sicurezza nell’ambiente di produzione. Ma esaminiamo in dettaglio il contenuto di questi annunci. 

Snowflake Notebooks, disponibile in private preview, è una nuova interfaccia di sviluppo che offre agli utenti di Python e SQL un ambiente di programmazione interattivo organizzato in celle che consente di esplorare, elaborare e sperimentare con i dati in Snowpark. I notebook integrati in Snowflake consentono agli sviluppatori di scrivere ed eseguire codice, addestrare e distribuire modelli utilizzando Snowpark ML, visualizzare i risultati con i grafici di Streamlit e molto altro ancora, il tutto all’interno della piattaforma unica e sicura Snowflake. Inoltre, poiché il notebook è integrato in modo nativo nei controlli di accesso in base al ruolo di Snowflake, è possibile condividere e collaborare al codice e ai risultati in modo semplice e sicuro, senza rischi per i dati aziendali. Per la data science e il machine learning, il layout basato su celle di Snowflake Notebooks facilita le attività di sperimentazione ed esplorazione, permettendo agli sviluppatori di scrivere ed eseguire il codice, visualizzare i risultati, annotare e condividere informazioni in un’unica posizione. 

Snowpark ML include la libreria Python e l’infrastruttura sottostante, per creare workflow ML end-to-end in Snowflake, e comprende anche le API Snowpark ML Modeling e Snowpark ML Operations. Snowpark ML unifica pre-elaborazione dei dati, feature engineering, addestramento dei modelli e distribuzione integrata in una singola libreria Python facile da usare. Di recente abbiamo annunciato l’API ML Modeling Snowpark (presto disponibile per tutti i clienti), che consente di utilizzare i framework ML più diffusi, come Scikit-learn e XGBoost, per il feature engineering e l’addestramento dei modelli, senza spostare i dati all’esterno di Snowflake. Snowpark ML permette di utilizzare le familiari API Python per sviluppare i modelli in modo intuitivo tramite questi framework. Lavorando dietro le quinte, Snowpark ML parallelizza l’elaborazione dei dati sfruttando la piattaforma scalabile Snowflake.

Per Snowpark ML Operations, Snowpark Model Registry (disponibile a breve in public preview) consente di distribuire e gestire i modelli in modo scalabile e sicuro in Snowflake. Inoltre, espande il supporto per la distribuzione dei modelli di deep learning Tensorflow e Pytorch e dei modelli LLM open-source Hugging Face in Snowpark Container Services (che include pool di calcolo GPU). Ora Snowpark Model Registry si basa su un’entità di modello nativa di Snowflake, con supporto per il versioning integrato, controlli di accesso in base al ruolo e un’API SQL che semplifica la gestione sia per gli utenti SQL che per gli utenti Python.

Snowflake Feature Store (disponibile come private preview) è una soluzione integrata che consente a data scientist e ingegneri ML di creare, memorizzare, gestire e fornire funzionalità di machine learning per l’inferenza e l’addestramento dei modelli. È costituito da una serie di API Python, accessibili tramite la libreria Snowpark ML, e da interfacce SQL per la definizione, la gestione e il recupero delle funzionalità, a cui si aggiunge un’infrastruttura gestita per il metadata management e l’elaborazione continua delle feature. Snowflake Feature Store offre ai team ML un’unica fonte di verità sempre aggiornata per le funzionalità utilizzate nell’addestramento dei modelli e nell’inferenza.  

Snowflake semplifica sempre più la creazione e la distribuzione delle funzionalità e dei modelli su un’unica piattaforma, in modo fluido e sicuro, facilitando l’integrazione dello sviluppo AI/ML nelle infrastrutture dati. Per vedere le nuove funzionalità in azione, segui la demo di Snowday su Snowpark ML. Inoltre, Snowflake offre a qualsiasi utente la possibilità di sfruttare in modo semplice tutti i vantaggi offerti dalla GenAI. Qui puoi trovare ulteriori informazioni sui recenti annunci, che includono Snowflake Cortex, mentre qui sono descritte le esperienze basate su LLM realizzabili con Snowflake Cortex. 

Risorse:

• Iniziare con Snowpark ML per Python
• Documentazione per lo sviluppo con Snowpark ML
• Repository di esempi di Snowpark per Python
• Prova gratuitamente Snowpark per Python
• Hai domande? Chiedi alla community