Esegui le pipeline Apache Spark™ su Snowflake: prestazioni più elevate e costi inferiori con un solo prompt in CoCo

Eseguire Spark non significa solo scrivere trasformazioni e logica di business. Vuol dire anche fare il tuning dei cluster, applicare patch all’infrastruttura e gestire gli ambienti delle dipendenze.

Spostare questi workload su Snowflake risolve il problema alla radice: i clienti registrano prestazioni fino a 5,1 volte superiori e costi inferiori del 42%¹. Snowpark Connect for Apache Spark™ consente al codice Spark esistente di funzionare sul motore Snowflake con modifiche minime: nessun cluster da provisionare, sottoporre a tuning o aggiornare.

La maggior parte degli assistenti di coding basati sull’AI di tipo generico si rivela insufficiente quando si tratta di migrazioni su larga scala. Possono riscrivere uno snippet, ma non dispongono del contesto di compatibilità necessario per spostare un’intera codebase su un nuovo motore: quali pattern non sono supportati, come mapparli agli equivalenti DataFrame e come tenere traccia delle modifiche. La skill spark-migration di Snowflake CoCo, un coding agent AI data-native, nasce proprio per colmare questa lacuna.

Un prompt, una codebase

Il modo più chiaro per comprendere questa skill è vederla in azione. La demo qui sotto parte da una directory di pipeline di dati scritte in PySpark.

Da lì, il prompt è semplice. Basta chiedere a CoCo di migrare un file o una directory di file in Snowpark Connect. In questo modo si avvia la skill spark-migration, che coordina il percorso di migrazione snowpark-connect e ti guida nel rendere il tuo codice Spark compatibile con Snowpark Connect. Nota che i file di input per questa skill possono essere file di codice Python, Scala o Java (così come i file di build). La skill può inoltre elaborare i file di notebook per garantirne la compatibilità con Snowflake.

La demo mostra un’ampia codebase Spark verificata per la compatibilità e migrata in Snowflake a partire da un singolo prompt.

Figura 1. Una directory di pipeline PySpark scansionata, riscritta e documentata a partire da un unico prompt conversazionale.

Come migrare PySpark in Snowflake con CoCo

Dietro quel singolo prompt, il workflow agentico di CoCo esegue gli stessi passaggi di un esperto di migrazione:

1. Esegue una valutazione e crea un inventario: questa skill analizza ogni file sorgente alla ricerca di problemi di compatibilità, tra cui operazioni RDD, determinati pattern di serializzazione delle UDF e formati di file non supportati, facendo riferimento a una knowledge base sviluppata dal team di engineering Snowflake. Ogni file, dipendenza e chiamata API univoca viene inserito nell’inventario.
2. Applica correzioni mirate: La conversione principale avviene tramite l’attivazione di agenti paralleli che applicano le correzioni al codice e ne verificano i risultati attraverso più gate, tra cui la compilazione della sintassi e controlli basati sull’evidenza. In questa fase, i pattern incompatibili vengono riscritti negli equivalenti DataFrame, gli import e la creazione della sessione vengono aggiornati e tutto ciò che richiede una revisione manuale (come la validazione delle operazioni di lettura e scrittura) viene segnalato con una spiegazione dettagliata.
3. Genera report prevedibili, consultabili da persone o agenti: questo ti offre piena visibilità su ogni modifica apportata e su ciò che potrebbe ancora richiedere attenzione, generando log dei problemi, report di inventario e una validazione dello stato complessivo della migrazione.
4. Valida la funzionalità del codice convertito: la fase di validazione esegue un controllo end‑to‑end eseguendo il codice PySpark originale e il codice Snowpark Connect migrato sugli stessi dati sintetici e confrontando i rispettivi output tabella per tabella. In questo modo intercetta le differenze di comportamento e verifica che il codice sia pronto per l’esecuzione. Eventuali correzioni individuate durante la validazione vengono automaticamente sottoposte a commit sul branch di consegna, così il risultato è sia un verdetto di superamento o fallimento sia una migrazione più completa. Questa fase di validazione è facoltativa.

Invece di cercare tra i file i pattern incompatibili e di consultare la documentazione per il confronto, lo sviluppatore resta in un unico workflow mentre CoCo si occupa della scansione, delle correzioni e dei report necessari per far funzionare il codice Spark su Snowflake.

Molto più di un singolo file

Una migrazione raramente si esaurisce in un unico passaggio lineare, per questo la skill si adatta alla codebase in qualsiasi stato si trovi. Ecco alcuni altri modi per orientarla sul tuo lavoro:

• Definire l’impegno prima di iniziare: “Valuta la compatibilità e il livello di impegno necessario per migrare questa codebase.”
• Validare prima di eseguire: “Verifica che questa codebase funzioni con Snowpark Connect.”
• Completare la migrazione avviata con un altro strumento: “Analizza l’output di qualsiasi altro strumento di migrazione e completa la migrazione.”

La skill si attiva automaticamente quando menzioni Spark, PySpark o la migrazione del codice; in alternativa puoi invocarla direttamente con spark-migration. Come già anticipato, segnala tutto ciò che richiede una revisione manuale, così mantieni il controllo sulle modifiche.

Prova subito

È un’offerta convincente: meno test di compatibilità manuali, meno refactoring e un percorso più rapido per eseguire i workload Spark in modo nativo su Snowflake. Ciò che prima richiedeva ore di lavoro manuale, anche con gli strumenti deterministici esistenti, ora richiede pochi minuti.

La skill spark-migration è inclusa in CoCo; non richiede alcun setup.

Fai una prova: “Migra questo file su Snowpark Connect.”

Inizia con CoCo e la migrazione di Spark consultando questa documentazione.

_{¹ In base a casi d’uso di produzione dei clienti ed esercizi di proof of concept che confrontano la velocità e il costo di Snowpark rispetto ai servizi Spark gestiti tra novembre 2022 e maggio 2025. Tutti i risultati sintetizzano i risultati effettivi ottenuti dai clienti con i loro dati reali e non rappresentano data set creati ad hoc come benchmark.}