Exécuter des pipelines Apache Spark™ sur Snowflake : performances accrues et coûts réduits avec un seul prompt CoCo

Exécuter Spark ne se limite pas à écrire des transformations et de la logique métier. Cela implique également d’ajuster les clusters, de corriger l’infrastructure et de gérer les environnements de dépendances.

Migrer ces workloads vers Snowflake répond directement à ce défi, nos clients constatant des performances jusqu’à 5,1 fois plus rapides et des coûts réduits de 42 %¹. Snowpark Connect for Apache Spark™ vous permet d’exécuter votre code Spark existant sur le moteur de Snowflake avec un minimum de modifications, sans aucun cluster à provisionner, ajuster ou corriger.

La plupart des assistants de codage IA génériques montrent leurs limites lorsqu’il s’agit de migrations à grande échelle. S’ils peuvent réécrire un extrait de code, il leur manque le contexte de la compatibilité pour migrer une base de code entière vers un nouveau moteur : identifier les modèles non pris en charge, les associer à des équivalents DataFrame et enregistrer les modifications apportées. La compétence spark-migration de Snowflake CoCo, un agent de codage IA natif pour les données, a été conçue pour combler cette lacune.

Un seul prompt, une seule base de code

Le meilleur moyen de comprendre cette compétence est de la voir à l’œuvre. La démo ci-dessous commence par un répertoire de pipelines de données écrits en PySpark.

À partir de là, le prompt est simple. Il vous suffit de demander à CoCo de migrer un fichier ou un répertoire de fichiers vers Snowpark Connect. Cela lancera la compétence spark-migration qui coordonnera le parcours de migration snowpark-connect pour vous guider dans la mise en conformité de votre code Spark avec Snowpark Connect. Notez que les fichiers d’entrée pour cette compétence peuvent être des fichiers de code Python, Scala ou Java (ainsi que des fichiers de build). La compétence peut également prendre en charge des fichiers de notebook pour s’assurer qu’ils sont compatibles avec Snowflake.

La démo montre une vaste base de code Spark dont la compatibilité est vérifiée et qui est migrée vers Snowflake à partir d’un seul prompt.

Figure 1 : Un répertoire de pipelines PySpark analysé, réécrit et documenté à partir d’un seul prompt conversationnel.

Comment migrer de PySpark vers Snowflake avec CoCo

Derrière ce simple prompt, le workflow d’agent de CoCo exécute les mêmes étapes qu’un expert en migration :

1. Évaluation et création d’un inventaire : cette compétence analyse chaque fichier source à la recherche de problèmes de compatibilité (notamment les opérations RDD, certains modèles de sérialisation UDF et les formats de fichiers non pris en charge) en se référant à une base de connaissances développée par l’équipe d’ingénierie de Snowflake. Chaque fichier, dépendance et appel d’API unique est répertorié.
2. Application de correctifs ciblés : la conversion principale est effectuée en répartissant des agents parallèles pour appliquer les correctifs de code et vérifier les résultats à travers plusieurs étapes de contrôle, y compris la compilation de la syntaxe et des vérifications basées sur des preuves. Durant cette phase, les modèles incompatibles sont réécrits en équivalents DataFrame, les importations et la création de sessions sont mises à jour, et tout élément nécessitant un examen manuel (comme la validation des lectures et des écritures) est signalé par une explication détaillée.
3. Génération de rapports dans un format cohérent, exploitables par des humains ou des agents : cela vous offre une visibilité totale sur chaque modification apportée et sur ce qui nécessite encore votre attention, en générant des journaux d’incidents, des rapports d’inventaire et une validation de l’état général de la migration.
4. Validation des fonctionnalités du code converti : la phase de validation effectue une vérification de bout en bout en exécutant le code PySpark d’origine et le code Snowpark Connect migré sur les mêmes données synthétiques, puis en comparant leurs résultats table par table. Cela permet de détecter les différences de comportement et de valider que le code est prêt à être exécuté. Tous les correctifs identifiés lors de la validation sont automatiquement intégrés à la branche livrable, ce qui permet d’obtenir à la fois un verdict de réussite/échec et une migration plus complète. Cette phase de validation est facultative.

Au lieu de chercher des modèles incompatibles dans plusieurs fichiers et de consulter la documentation, le développeur reste dans un seul et même workflow pendant que CoCo s’occupe de l’analyse, de la correction et de la création de rapports nécessaires pour exécuter le code Spark sur Snowflake.

Bien plus qu’un simple fichier

Une migration se fait rarement en une seule étape simple ; cette compétence s’adapte donc à votre base de code, où qu’elle en soit. Voici d’autres façons de l’appliquer à votre travail :

• Évaluer l’effort requis avant de commencer : « Évalue la compatibilité et le niveau d’effort requis pour migrer cette base de code. »
• Valider avant l’exécution : « Confirme que cette base de code s’exécutera correctement avec Snowpark Connect. »
• Finaliser la migration d’un autre outil : « Analyse les résultats de tout autre outil de migration et finalise la migration. »

La compétence s’active automatiquement lorsque vous mentionnez Spark, PySpark ou la migration de code, mais vous pouvez également l’invoquer directement avec spark-migration. Comme indiqué précédemment, elle signalera tout élément nécessitant un examen manuel afin que vous gardiez le contrôle sur les modifications apportées.

Essayez

C’est une proposition particulièrement intéressante : moins de tests de compatibilité manuels, moins de refactoring et une voie plus rapide pour exécuter vos workloads Spark de manière native sur Snowflake. Ce qui nécessitait auparavant des heures d’efforts manuels, même avec les outils déterministes existants, ne prend désormais plus que quelques minutes.

La compétence spark-migration est intégrée à CoCo, sans aucune configuration requise.

Essayez simplement : « Migre ce fichier vers Snowpark Connect. »

Lancez-vous avec CoCo et la migration Spark en consultant cette documentation.

_{¹ Basé sur des cas d’usage de production et des démonstrations de faisabilité de clients comparant la vitesse et le coût de Snowpark par rapport aux services gérés de Spark entre novembre 2022 et mai 2025. Toutes les conclusions résument les résultats réels obtenus par nos clients avec des données réelles et ne représentent pas des ensembles de données inventés utilisés comme benchmarks.}