Snowflake améliore les performances de 27 %, d’après l’indice SPI

L’année dernière, à l’occasion de notre Summit, nous avons annoncé le lancement de l’indice Snowflake Performance Index (SPI), un indice global qui permet de mesurer les améliorations des performances de Snowflake observées par nos clients au fil du temps. 

La philosophie de Snowflake en matière de produit se concentre sur l’amélioration continue des performances grâce au perfectionnement du moteur principal. Ces améliorations de performances sont intégrées chaque semaine à vos opérations quotidiennes, afin d’optimiser les performances facilement et sans frais supplémentaires, le tout sans migration, mise à jour, ni procédure manuelle. Cette stratégie a été pensée pour optimiser votre rapport prix/performances avec Snowflake. Grâce à notre modèle de tarification à la consommation, ces gains de performance peuvent se traduire par des économies pour nos clients. 

Nous sommes engagés à réduire les coûts d’exécution de vos charges de travail dans Snowflake au fil du temps.

Depuis que nous avons commencé à mesurer le SPI en août 2022, ce dernier a connu une amélioration de 27 %. Au cours des 12 derniers mois, nous avons enregistré une amélioration d’encore 12 %. De plus, le SPI étant calculé sur des workloads clients réels, stables et récurrents, il nous permet de comparer les améliorations de workloads clients spécifiques au fil du temps.  

Contrairement aux autres fournisseurs, dont certains recourent parfois à des benchmarks fictifs ou synthétiques pour effectuer leurs comparaisons de performances, Snowflake utilise des données clients réelles issues de workloads de production afin de mesurer les améliorations de performances. Ceci témoigne de la principale philosophie de Snowflake : notre réussite est chevillée à celle de nos clients.  

Ces derniers mois, nous avons apporté un certain nombre d’améliorations importantes. Mieux encore, nombre d’entre elles sont déployées de manière automatique, sans demander le moindre réglage ni la moindre intervention.

Nous continuons d’investir dans la rapidité et l’efficacité du compilateur, dans l’intelligence de l’optimiseur, dans l’amélioration des performances d’exécution des requêtes principales et dans l’accélération de l’ingestion des données dans Snowflake. Par exemple :

• Nous avons amélioré de jusqu’à 25 % les performances d’ingestion des fichiers JSON et Parquet comportant des données insensibles à la casse. 
• Nous avons amélioré le rendement entre les nœuds au sein d’un entrepôt, grâce à la mise en place d’une communication plus rapide entre les nœuds d’exécution et à une meilleure compression du réseau. Nous avons également apporté des améliorations au placement d’agrégation, pour améliorer les performances de toutes les requêtes.  
• Nous avons jaugé et optimisé les performances des modèles de requêtes les plus courants, notamment en améliorant la gestion de la mémoire grâce à des décisions de jointure de diffusion holistiques, ce qui permet d’accélérer l’exécution des requêtes impliquant des arbres de jointure à droite profonds. 
• En outre, nous avons revu à la baisse le coût du maintien d’une vue matérialisée grâce à une meilleure utilisation des ressources de service. 
• Enfin, nous continuons d’améliorer l’intelligence de l’optimiseur, afin de choisir les meilleures optimisations possibles, telles que l’introduction d’estimations de sélectivité plus granulaires, qui aident Snowflake à prendre de meilleures décisions concernant l’ordre des jointures.  

À l’occasion du Summit 2024 en particulier, nous sommes fiers d’avoir annoncé les optimisations de performances suivantes :

• L’algorithme « Top‑K pruning V2 » (disponible pour tous nos clients) : Snowflake permet d’effectuer un nettoyage précis avec des micropartitions lors de l’exécution des requêtes pour les instructions SELECT comportant des clauses ORDER et LIMIT. Grâce à l’algorithme « Top‑K pruning V2 », Snowflake arrête la recherche lorsqu’il détermine qu’aucune des lignes restantes ne peut figurer dans un ensemble de résultats composé d’enregistrements K. Cet algorithme de nettoyage est automatiquement appliqué aux requêtes ORDER et LIMIT, sans frais supplémentaires, afin de garantir aux utilisateurs les meilleures performances et expériences possibles. En moyenne, Top‑K V2 offre un gain de performance d’encore 12,5 %. 
• La visualisation de l’historique DML et de l’utilisation du compte (bientôt disponible pour tous nos clients) : cette optimisation aide nos clients à analyser les coûts et les avantages des clusters et de l’optimisation des recherches en vue d’améliorer le nettoyage, leur offrant ainsi davantage de transparence pour mieux appréhender l’efficacité des requêtes. 
• L’amélioration de Query Acceleration Service (QAS) : désormais, 6 % de requêtes en plus sont éligibles au QAS grâce à l’ajout des instructions INSERT. 
• Les améliorations continues des performances des clusters (disponibles pour tous nos clients) : cette optimisation devrait permettre de réduire les coûts de nos clients de 10 %*.

Vous trouverez plus d’informations sur nos dernières améliorations dans nos notes de version sur les performances.

Le SPI met en exergue notre engagement envers l’amélioration continue des indicateurs économiques de nos clients, tout en offrant de la transparence sur l’impact quantitatif des améliorations des performances de la plateforme sur les workloads de production réels au fil du temps. Bien évidemment, il nous permet également de mesurer et d’améliorer l’impact sur les performances des nouvelles fonctionnalités, des améliorations et des options de calcul pour nos clients, en accord avec la valeur principale de Snowflake : faire des clients une priorité. 

Pour en savoir plus, consultez le site web dédié au SPI. 

* Sur la base d’un déploiement limité du 12.02 au 01.03 représentant environ 37 % de crédits de reclustering