Capital One mise sur Snowflake pour la data science

Capital One souhaite changer la banque pour de bon. Quand nous envisageons l’avenir de la banque, nous ne nous basons pas sur ce que font les autres banques. Nous regardons comment la technologie peut transformer le quotidien de tout un chacun. 

Je m’appelle Salim Syed et je suis Engineering Lead. 

Je m’appelle Nagender Gurram et je suis Director, Data Engineering. Au cours de mes 16 années passées chez Capital One, j’ai assisté à de nombreuses transformations. Notre plus grand progrès a été de passer dans le cloud. 

Tout évolue très vite et il fallait nous adapter, faire preuve d’agilité. Passer sur le cloud a été la première étape. D’autres institutions financières adoptent le cloud, mais le font à tâtons. Nous sommes les premiers à avoir opté pour le cloud public. Pour cela, il a fallu définir certains aspects : quelles sont les meilleures pratiques à adopter avec des capacités de calcul et de stockage illimitées ? Comment gérer la gouvernance dans ce nouvel environnement ? 

Le concept proposé par Snowflake nous a paru révolutionnaire.

Grâce à Snowflake, nous avons pu séparer le calcul et le stockage, ce qui a permis à nos équipes de data engineering de se concentrer sur l’innovation et non sur la gestion ou l’approvisionnement de l’infrastructure. 

Ce qui est vraiment important aujourd’hui, c’est la quantité de données reçues et le débit auquel elles arrivent. Est‑ce que vos infrastructures peuvent générer rapidement des informations pour vos clients ? En cas de panne sur un cluster, Snowflake se relance automatiquement et poursuit l’activité là où elle s’est arrêtée. C’est un atout majeur pour la continuité de nos activités. 

Avec Snowflake, notre communauté de data scientists crée des algorithmes de machine learning et entraîne les modèles pour vendre un grand nombre de produits numériques comme Eno, l’assistant intelligent de Capital One. Au début, lorsque nous avons choisi Snowflake, notre objectif était de créer des outils en libre‑service qui pourraient être mis à la disposition de nos secteurs d’activité pour leur permettre de gérer leur propre intégration des ressources Snowflake. 

L’objectif était de rendre le processus simple et transparent, et de gommer les difficultés de gouvernance, afin de progresser beaucoup plus rapidement.

Notre principal fournisseur de services cloud est Amazon Web Services, et Snowflake est parfaitement compatible. Nous avons transféré les données très rapidement, grâce aux intégrations existantes. Notre équipe compte des milliers d’analystes qui lancent des millions de requêtes par jour et, parfois, quelques centaines de requêtes en même temps. Leurs performances sont prévisibles et leurs requêtes s’exécutent à un rythme constant, quels que soient les autres utilisateurs sur la plateforme. 

Nous attendons avec impatience les nouvelles fonctionnalités de Snowflake. Par exemple, Snowpark, qui nous permettra d’améliorer la mise en œuvre de nos modèles d’apprentissage automatique. Capital One se penche également sur les data marketplaces. Nous effectuons de nombreuses démonstrations de faisabilité et utilisons déjà les données recueillies pendant la pandémie de COVID‑19. Ces données nous permettent de prendre de meilleures décisions financières concernant la localisation des hotspots et les mesures d’urgence.

Cet outil révolutionne complètement le secteur des données. Notre partenariat est solide, et Snowflake reste toujours à l’écoute de nos remarques. À mon avis, Snowflake est un outil extrêmement puissant. Il permet d’économiser beaucoup de temps et d’argent, accélère la mise sur le marché et peut s’adapter à toutes les exigences. 

Pour faire simple, Snowflake répond à nos exigences comme aucune autre technologie ne l’a fait jusqu’à présent.