TÉMOIGNAGES CLIENTS
Intercontinental Exchange et la Bourse de New York optimisent leurs coûts avec Snowpark
Grâce à Snowflake, Intercontinental Exchange (ICE) a réduit ses coûts et amélioré son efficacité opérationnelle, tout en facilitant la conformité réglementaire et le reporting pour les bourses mondiales telles que la Bourse de New York (NYSE, New York Stock Exchange).
RÉSULTATS CLÉS :
80 %
d’amélioration des performances des requêtes ad hoc
>50 %
de réduction des coûts pour la charge de travail de reporting réglementaire du NYSE
Secteur
Services financiersLieu
New York, NYInvestir dans la bonne plateforme data
En tant qu’organisation financière internationale menant des opérations des États-Unis à Singapour en passant par l’Europe et Abou Dabi, Intercontinental Exchange exploite des bourses, des chambres de compensation, des services de données et des technologies de prêts immobiliers. Relevant du portefeuille d’ICE, le NYSE est la plus importante bourse de valeurs au monde, offrant à des icônes et des entrepreneurs la possibilité de lever des capitaux pour changer le monde.
La stratégie d’ICE, consistant à présenter des opportunités aux investisseurs, s’appuie sur ses technologies innovantes, son expertise dans le secteur et ses quantités massives de données. C’est pourquoi ICE et le NYSE font confiance au Data Cloud Snowflake pour gérer efficacement leurs données à grande échelle, tout en maîtrisant leurs coûts.
Points forts
De meilleures performances à grande échelle : depuis son adoption de Snowflake, ICE bénéficie d’une évolutivité quasi illimitée, qui lui a permis d’améliorer ses performances de reporting ad hoc jusqu’à 80 %, tout en traitant des milliards d’enregistrements de transactions chaque jour.
Plus de 50 % de réduction des coûts : dans le mois qui a suivi le déploiement de Snowpark pour la charge de travail de reporting réglementaire du NYSE, les coûts associés aux données ont été réduits de plus de moitié.
Innovation et collaboration : avec Snowflake, ICE se trouve en meilleure posture pour tester des technologies data émergentes et permettre des analyses avancées.
Des informations plus rapides, une plus grande portée et une meilleure visibilité
ICE traite des milliards d’enregistrements de transactions chaque jour, ce qui met à rude épreuve ses systèmes analytiques en aval dédiés à la conformité réglementaire, à la surveillance des marchés et au reporting client. « En comptant l’ensemble de nos systèmes, nous avons traité plus de 500 milliards de messages sur une seule journée de trading », souligne Anand Pradhan, Senior Director of Regulatory and NMS Tech pour le New York Stock Exchange. « Toutes ces transactions relèvent d’une granularité à la microseconde, ce qui produit des données temporelles denses et complexes. »
L’ancien entrepôt de données on-premise d’ICE offrait une capacité de stockage limitée, entraînant un archivage de données chronophage et des mises à niveau matérielles coûteuses. Pour réduire les problèmes de simultanéité et les délais de reporting, le personnel technique perdait du temps à concevoir des solutions de contournement, au lieu d’intégrer de nouveaux flux de travail.
Face à la nécessité de répondre à la demande croissante d’analyses, ICE a commencé à évaluer diverses technologies cloud. Après avoir mené une démonstration de faisabilité approfondie, ICE a jeté son dévolu sur le Data Cloud Snowflake. « Nous avons commencé notre transition vers Snowflake en 2019 et avons effectué notre démonstration de faisabilité avec le marché des instruments dérivés », explique Divakar Jeyadevan, ICE Director. « Nous avons mis cette solution en service en 2020, au moment du pic de la pandémie, avec un succès considérable. »
Le stockage et le calcul à l’évolutivité quasi instantanée et infinie de Snowflake sont à la hauteur des besoins divers d’ICE en matière de reporting, tout en permettant de traiter les téraoctets de nouvelles données chargées chaque jour. La migration des charges de travail vers le Data Cloud a amélioré les performances des requêtes ad hoc jusqu’à 80 % et a pratiquement éliminé les problèmes de non-respect des accords de niveau de service (SLA) en matière de disponibilité des données.
« Grâce à Snowflake, nous bénéficions d’un stockage quasi infini, à faible coût et indépendant du cloud. De plus, le fait de séparer le stockage du calcul se traduit par une simultanéité et une évolutivité excellentes. »
Durgesh Das
ICE bénéficie maintenant d’une vision à 360 degrés des indicateurs commerciaux et opérationnels, associée à une plus grande transparence des coûts. « Nous avons tant d’unités commerciales, mais Snowflake nous offre une bonne visibilité sur la gestion des coûts pour simplifier l’administration », ajoute Divakar Jeyadevan. En outre, l’infrastructure entièrement gérée de Snowflake permet aux techniciens d’ICE de se concentrer sur la génération d’analyses, plutôt que sur la fourniture de matériel, la mise à niveau de systèmes ou la recherche de solutions de contournement.
Une réduction des coûts de plus de 50 % sur les charges de travail du NYSE migrées vers Snowpark
Si la migration des charges de travail existantes vers le Data Cloud représentait une première étape stratégique dans le parcours de transition d’ICE vers Snowflake, la priorité est rapidement devenue l’optimisation des économies dans le cloud, l’augmentation du rendement et l’accélération de l’impact des données.
L’optimisation de la charge de travail stratégique du NYSE, à savoir le reporting réglementaire, représentait une opportunité considérable de réduire les coûts des données et de gagner en productivité. « Notre charge de travail de reporting réglementaire prend en compte des centaines de milliards d’enregistrements dans l’ensemble de données et les fusionne constamment pour identifier différents schémas, tout en réconciliant plusieurs sources de données de référence. Cela nécessite une puissance de calcul énorme », ajoute Anand Pradhan.
À l’origine, le NYSE utilisait Snowflake à l’aide d’un connecteur Spark pour prendre en charge les pipelines de data engineering dans un environnement externe. Cependant, le maintien de deux environnements de calcul séparés s’avérait coûteux et compliquait les opérations, entraînant des coûts cachés et une « double taxation » lors des transferts de données depuis et vers Snowflake.
C’est pourquoi le NYSE a choisi Snowpark, une solution rentable et fiable pour sa charge de travail de reporting réglementaire. En collaborant avec l’équipe des services professionnels Snowflake, le NYSE a pu accélérer sa transition vers Snowpark tout en réduisant les risques. « Nous avons migré vers Snowpark sans faire aucun compromis sur la gouvernance, car cette solution nous permet de construire des pipelines de data engineering basés sur Python dans une seule et même plateforme Snowflake, où se trouvent déjà nos données », souligne Anand Pradhan. « Cette étape clé a été un succès majeur pour nous. »
« Nous avons sollicité l’aide des services professionnels de Snowflake pour nos charges de travail les plus complexes. L’équipe nous a aidés à planifier et optimiser nos performances sur tous nos pipelines et toutes nos fonctions. Grâce à cette collaboration, nous avons pu démontrer la réussite de notre adoption de Snowpark et passer en production très rapidement. »
Anand Pradhan
Avec Snowpark, le NYSE se débarrasse de la complexité tout en faisant des économies. En effet, les coûts associés aux données ont chuté de plus de 50 % dans le mois qui a suivi le déploiement de Snowpark pour la charge de travail de reporting réglementaire, malgré des volumes de données relativement constants. Selon Anand Pradhan, « Snowpark a permis une telle réduction des coûts que j’ai dû adapter mon budget pour cette année ».
En outre, la rationalisation des charges de travail avec Snowpark a également permis de réduire les points de défaillance et les ajustements manuels de code à gérer. « Comme nous sommes confrontés à moins de défis opérationnels, le rendement de notre data engineering a été multiplié plusieurs fois », ajoute Anand Pradhan. « Nous nous concentrons désormais davantage sur les analyses avancées et faisons un meilleur usage de notre temps pour gagner en productivité. »
« Les autres solutions n’offrent pas de véritable transparence sur les coûts. Avec Snowpark, tout se passe dans Snowflake. Vous avez donc une visibilité sur les coûts exacts. »
Durgesh Das
Une adaptation rapide aux besoins d’analyse en constante évolution des utilisateurs
Grâce à la connexion d’outils SaaS à Snowflake, ICE peut plus facilement optimiser ses données pour obtenir de meilleurs résultats commerciaux. « Après nos succès initiaux, notre communauté de développeurs a hâte de tirer parti de Snowpark for Python et d’explorer encore plus de cas d’usage pour migrer depuis Spark », explique Divakar Jeyadevan. De plus, l’équipe d’Anand Pradhan évalue actuellement des solutions pour prendre en charge les cas d’usage du machine learning et de l’IA générative et teste également certaines des dernières fonctionnalités d’IA/ML de Snowflake. Selon Anand Pradhan, « toutes ces opportunités se sont offertes à nous parce que nous avons commencé à travailler en partenariat avec Snowflake et nous espérons continuer sur cette lancée ».
En optimisant d’autres charges de travail, ICE améliorera encore sa posture pour répondre à l’évolution des conditions du marché et à l’augmentation des volumes de données. La Marketplace Snowflake jouera sans doute un rôle important dans ces optimisations à venir. Comme l’explique Anand Pradhan, « la migration vers Snowflake était la mesure à prendre pour que nous puissions mener ces différentes expérimentations, innovations et collaborations ».
Démarrez votre essaigratuit de 30 jours
Essayez Snowflake gratuitement pendant 30 jours et découvrez l'AI Data Cloud qui élimine la complexité, les coûts et les contraintes d’autres solutions.