DOCUMENTATION
Documentation
Documentation fonctionnelle de Snowpark Connect for Apache Spark™.
Fonction
Apache Sparksur Snowflake
Choisissez Snowpark Connect for Apache Spark™ et bénéficiez de performances plus rapides et de coûts réduits sans surcharge opérationnelle.
Exécutez des workloads plus rapides en production
Grâce à un moteur vectorisé spécialement conçu pour le traitement à grande échelle, vos workloads Spark complexes s’exécutent en moyenne 5,1 fois plus rapidement# qu’avec les fournisseurs de services Spark managés.
Baissez le coût total de possession
Grâce à un environnement entièrement managé, évitez le provisionnement des clusters ainsi que les coûts liés aux transferts de données.
Allégez les contraintes opérationnelles
Libérez vos équipes des contraintes liées au provisionnement et au réglage des clusters Spark. Elles pourront ainsi consacrer leurs compétences techniques à la création de produits data à forte valeur ajoutée plutôt qu’à la gestion de l’infrastructure.
Avantages
Toute la puissance de Snowflakeau service de votre code Apache Spark™
Exécutez Spark en mode natif
Accélérez les pipelines Spark avec Snowpark Connect
- Exécutez vos DataFrames Spark, vos requêtes SQL et vos UDF directement sur le moteur vectorisé de Snowflake, sans avoir à provisionner ni à gérer de clusters Spark externes.
Snowpark Connect utilise le protocole open source Spark Connect pour exécuter nativement les workloads dans Snowflake, sans modifier votre code Spark existant. Résultat : 42 % d’économies en moyenne sur les tâches ETL complexes et des performances 5,1 fois supérieures#.
Connectez les workloads existants
Connectez les clusters Spark externes
Si vos workloads nécessitent un environnement Spark externe ou des API existantes, notamment les RDD et MLlib, le connecteur Snowflake pour Spark assure une liaison hautes performances. Les contrôles de sécurité et de gouvernance de Snowflake continuent de s’appliquer aux données transférées.
Conservez vos outils de prédilection
Conservez votre environnement de travail
Connectez votre client Spark depuis vos environnements préférés comme Jupyter Notebooks, VS Code ou Apache Airflow™ pour exécuter vos jobs Spark.
- Vous pouvez également lancer vos workloads directement dans Snowflake Notebooks ou via Spark Submit.
Traitez vos données là où elles se trouvent
Exécutez Spark au plus près de vos données
- Exécutez votre code Spark directement sur les tables natives de Snowflake ou sur des formats de lakehouse interopérables tels qu’Apache Iceberg™ .
Évitez les transferts de données coûteux et les frais de sortie.
Définissez une seule fois des contrôles de gouvernance unifiés, puis appliquez-les à l’ensemble du cycle de vie de vos données.
« Le passage de l’ancien connecteur de Snowflake à Snowpark Connect a donné des résultats considérables : nous avons remarqué que l’environnement d’exécution est passé de 1,5 heure à environ 25 minutes. »
Dimitar Nedev
Principal Data Engineer, plateforme d’IA et d’informations
PartenairesSnowpark connect for Apache Spark™
Ressources
Snowpark Connect for Apache Spark
Questions fréquentes
Réponses aux questions les plus fréquemment posées pour se lancer avec Snowpark Connect for Apache Spark et apprendre à exécuter des workloads Spark sur Snowflake.
Qu’est-ce que Snowpark Connect for Apache Spark ?
Snowpark Connect vous permet de connecter des clients Spark, tels que PySpark, à Snowflake afin d’exécuter directement sur le moteur Snowflake du code moderne basé sur les DataFrames Apache Spark, Spark SQL et les fonctions définies par l’utilisateur (UDF). Vous réduisez ainsi la charge liée à la maintenance d’environnements Spark distincts.
Quelle est la différence entre Snowpark Connect et le connecteur Spark ?
Snowpark Connect est une offre de calcul entièrement managée qui exécute toutes les opérations dans le moteur Snowflake grâce au pushdown des requêtes. Il n’est donc plus nécessaire de provisionner un cluster Spark distinct ni de transférer les données, ce qui évite les coûts d’entrée et de sortie associés.
Le connecteur Spark nécessite quant à lui un cluster Spark distinct et implique des transferts de données. De plus, il ne peut appliquer le pushdown qu’à une partie des opérations Spark SQL.
Avec quelles sources de données Snowpark Connect peut-il fonctionner ?
Snowpark Connect peut lire et écrire des formats de fichiers courants, notamment CSV, JSON et Parquet. Il prend en charge les données stockées directement dans les tables natives Snowflake, ainsi que dans un lakehouse ouvert reposant sur des tables Apache Iceberg™ gérées par Snowflake ou en externe.
Sur quelle architecture et quel modèle d’exécution repose Snowpark Connect ?
Snowpark Connect repose sur le protocole open source Spark Connect, qui sépare le client du moteur d’exécution. Un serveur Spark Connect léger analyse le plan logique Spark, puis transmet l’intégralité du workload au moteur vectorisé de Snowflake pour qu’il l’exécute.
Aucun cluster Spark n’est donc utilisé : tous les calculs sont exécutés dans Snowflake.
Mes workloads Spark existants fonctionneront-ils sans modification ?
La plupart des codes reposant principalement sur des opérations DataFrame devraient fonctionner en redirigeant simplement la session vers Snowflake. Vous pouvez utiliser Snowpark Migration Accelerator (SMA) pour évaluer plus précisément la compatibilité d’une base de code, quelle que soit sa taille.
Quels sont les principaux avantages en matière de coûts et de performances d’une migration de Spark vers Snowpark Connect ?
Les clients ayant migré leurs workloads Spark vers Snowflake ont constaté, en moyenne, une vitesse d’exécution multipliée par 5,1 et une réduction des coûts de 42 %.
