Résumé de la démo du data mesh : démanteler les silos de données avec la Marketplace interne

Le data mesh a gagné du terrain ces dernières années, porté par sa promesse d’alléger la charge des équipes data centralisées en éliminant les goulots d’étranglement, en dimensionnant la gestion des données et en accélérant le délai de rentabilisation des données. Pour ceux qui n'ont pas encore pris le train en marche, le data mesh est une approche sociotechnique qui met l'accent sur la propriété décentralisée des données et le traitement des données comme un produit, grâce à une infrastructure de données en libre-service. Il vise à relever les défis liés à l’évolution de la gestion, de l’accès et du partage des données face à la multiplication continue des sources et des utilisateurs de données. 

Matthias Nicola, expert en data mesh, guide de nombreux clients Snowflake dans l’exploration, la création et l’exploitation d’architectures de data mesh. Ces efforts lui ont donné une perspective unique de la nature convaincante du data mesh en tant qu’architecture technique et approche organisationnelle. Dans cet article de blog, nous allons résumer les points clés de notre récent webinaire de démo du data mesh, où Matthias discutait du potentiel transformateur du data mesh en explorant les solutions Snowflake, y compris la Marketplace interne, pour montrer comment elles peuvent permettre à votre entreprise de partager des produits de données documentés et gouvernés entre unités commerciales. Bien que le data mesh soit également soumis à des considérations organisationnelles importantes, ce webinaire portait sur les capacités des plateformes data pour la gestion des produits de données.

Le dilemme des données : pourquoi les approches traditionnelles ne sont pas à la hauteur 

Les équipes traditionnelles de gestion centralisée des données sont souvent incapables de suivre le backlog interminable de requêtes de données. Il en résulte des goulots d'étranglement qui entravent la capacité d'une entreprise à s'adapter à l'évolution des besoins de son activité en matière de données. En outre, les équipes centrales sont confrontées à un manque de connaissances dans leur domaine (marketing, produits, ventes et autres unités commerciales), ce qui entraîne des retards dans la livraison des bonnes données aux bons utilisateurs de données. Chacun de ces obstacles ralentissant les équipes, la collaboration autour des données est impactée négativement, ce qui allonge le délai de rentabilisation et réduit l’agilité des données. 

Solutions Snowflake : les capacités clés nécessaires à la réussite du data mesh 

Pour surmonter ces défis, de nombreuses entreprises avant-gardistes se tournent vers une approche de data mesh afin de réduire les goulots d’étranglement organisationnels et les limites de la gestion centralisée traditionnelle des données. L’architecture de data mesh offre le potentiel d’une approche plus agile et évolutive de la gestion des données, offrant aux équipes une plus grande autonomie et un partage de données transparent. 

Les quatre principes clés d’un data mesh sont la gouvernance fédérée, la propriété et l’architecture axées sur le domaine, les données en tant que produit et l’infrastructure en libre-service. 

La plateforme Snowflake offre des solutions et des capacités conformes aux principes du data mesh, notamment :   

• Gouvernance fédérée : dotez les entreprises de fonctionnalités de gouvernance robustes, disponibles via Snowflake Horizon Catalog, pour contrôler l'accès, surveiller l'utilisation et appliquer des politiques de sécurité de manière cohérente dans divers domaines et environnements.  

• Propriété axée sur le domaine : l'architecture multi-cloud distribuée de Snowflake prend en charge la propriété axée sur le domaine en fournissant des environnements distincts pour différents domaines. Cela favorise l’indépendance tout en permettant un partage de données et une collaboration transparents entre les domaines. 

• Données en tant que produit : autorisez les domaines à packager des objets de données, des métadonnées et des politiques de gouvernance sous forme de produits de données facilement publiables et découvrables dans la Marketplace interne Snowflake, garantissant ainsi un accès facile à des ressources de données fiables et de haute qualité. Les produits de données dans Snowflake peuvent également inclure des ressources de données qui sont stockées et gérées en dehors de Snowflake.

• Infrastructure en libre‑service : grâce à sa facilité d’utilisation et à son interopérabilité avec des sources externes, Snowflake simplifie l’accès aux données et permet aux équipes d’agir de manière indépendante, ce qui réduit la dépendance vis-à-vis des équipes centrales et favorise une véritable infrastructure de données en libre-service.

Ces capacités fournissent les bases essentielles pour construire et exploiter une architecture de data mesh réussie. 

En simplifiant le partage de données entre divers domaines, de nombreuses entreprises démantèlent efficacement les silos de données traditionnels et favorisent un écosystème de données plus intégré. Snowflake aide des entreprises telles que FlixBus, leader mondial des technologies de voyage, à tirer pleinement parti des avantages révolutionnaires du data mesh. FlixBus a mis en œuvre une architecture de data mesh et a exploité la Marketplace interne et les références Snowflake, une méthode pour regrouper les informations avec des métadonnées, une description et plus encore comme produit de données. À partir de là, FlixBus a pu partager et mobiliser ses données pour améliorer les opérations de sa flotte, prévoir l'offre et la demande, mesurer les performances et fournir des analyses en libre-service. 

Permettre la réussite du data mesh avec Snowflake : vos principales questions 

Le data mesh peut sembler complexe de prime abord, mais il ne doit pas l'être. Lors de ce webinaire en direct, les participants ont exprimé un vif intérêt pour approfondir les aspects spécifiques des implémentations de data mesh avec Snowflake. Pour plus de clarté et de conseils, nous avons compilé les questions qui ont suscité le plus d'intérêt : 

Q : Comment choisir entre un ou plusieurs comptes Snowflake dans l’architecture de data mesh ?

La décision d'utiliser un seul compte ou plusieurs comptes Snowflake dépend vraiment des besoins, des défis ou des exigences juridiques spécifiques de votre entreprise. Voici quelques considérations pour vous aider à déterminer une approche à comptes uniques ou multiples : 

• Besoin ou non d'un isolement maximal entre les domaines de votre entreprise, pour des raisons juridiques ou de sécurité, avec des configurations de sécurité distinctes et une gestion des utilisateurs par domaine.

• Régions dans lesquelles votre entreprise opère : travaillez-vous à l’international avec plusieurs entités (équipes résidant à travers des régions telles que l’Asie, les États-Unis ou l’Europe) ? Ou votre entreprise opère-t-elle dans une seule région géographique ?  

• Unités commerciales travaillant sur différentes plateformes cloud (AWS, Google Cloud, Azure) dans différentes régions et prenant en compte toutes les exigences de localisation. En outre, avez-vous des exigences de sécurité ou juridiques qui couvrent les clouds et les régions ? 

Des éléments tels que la mesure et le contrôle des coûts et la possibilité pour les équipes de configurer la sécurité devraient également être envisagés. Certaines entreprises choisissent d'utiliser un compte unique parce qu'il est plus simple et plus direct à gérer. Cependant, certains choisissent plusieurs comptes pour garantir une confidentialité renforcée, un plus grand nombre de régions et de clouds et des besoins de sécurité distincts. 

Quel que soit votre choix, un compte ou plusieurs, sachez que vous n’êtes pas bloqué, car la Marketplace interne Snowflake fonctionne en toute transparence sur un ou plusieurs comptes et sur des topologies de comptes évolutives, comme le montre l’image ci-dessous.

Consultez cet article pour en savoir plus !   

Q : Comment configurer les profils de domaine ?

En tant qu’administrateur d’entreprise, vous pouvez configurer les profils de domaine à l’aide des Profils d’entreprise dans la Marketplace interne. Les profils d’entreprise sont des objets Snowflake réguliers que vous pouvez créer, modifier, supprimer, afficher et utiliser pour répertorier des informations sur l’origine et la propriété des données. Créer ou modifier un profil prend un fichier YAML comme entrée qui contient le nom de domaine, une description et divers attributs de domaine tels que les coordonnées ou un approbateur par défaut pour les demandes de produits de données. Cela permet de définir clairement la propriété et la provenance des données afin d’accroître la confiance, la qualité et la structure des données, tout en renforçant la gouvernance au sein de l’entreprise. 

Q : Quels types d’objets peut contenir un produit de données dans Snowflake ?

Un produit de données peut contenir un ou plusieurs objets de diverses natures, notamment : 

• Bases de données.

• Schémas.

• Tables.

• Dynamic tables.

• External Tables.

• Données semi-structurées telles que JSON et XML.

• Fichiers et documents non structurés, même stockés dans des compartiments de stockage en dehors de Snowflake.

• Tables Apache Iceberg™, même si elles sont stockées en dehors de Snowflake et gérées par un catalogue tel qu’AWS Glue ou OneLake.

• Vues.

• Materialized Views.

• Fonctions définies par l’utilisateur (UDF) sécurisées.

• Snowflake Native Apps.

• Modèles de ML.

• Vues sémantiques (private preview).

• Données on-premise, si elles sont stockées sous forme de fichiers dans un système de stockage compatible avec S3.

Q : Comment créer des produits de données basés sur les tables Iceberg et Delta Lake ?

Si vous gérez des données en dehors de Snowflake, dans Apache Iceberg, par exemple, vous pouvez toujours rendre cette Iceberg Table visible dans Snowflake et l’inclure dans un produit de données sur la Marketplace interne. Cela permet à ce même produit de données d’être interopérable avec d’autres moteurs de calcul qui peuvent accéder aux mêmes données. 

Q : « Chat with your data product » est une fonctionnalité actuellement en private preview. Qu’est-ce que c’est et comment ça marche ?

Snowflake introduit une fonctionnalité innovante qui permet aux utilisateurs de données d’utiliser le langage naturel pour interagir avec un produit de données. Pour ce faire, le propriétaire du produit de données doit inclure une vue sémantique dans la référence, qui décrit le contenu et la structure des données, comme les relations, les indicateurs, les dimensions et les commentaires et synonymes facultatifs. 

La vue sémantique est ensuite utilisée par Snowflake Cortex Analyst, une fonctionnalité entièrement gérée alimentée par des LLM qui aide à répondre à vos questions stratégiques en fonction de vos données structurées dans Snowflake. Un utilisateur de données peut alors interroger le produit de données de manière puissante. Les requêtes en langage naturel sont automatiquement converties en SQL et exécutées pour générer des réponses. Le code SQL généré peut être revu et manipulé si vous le souhaitez. Le consommateur de données peut également poser des questions ouvertes telles que « En quoi ce produit de données peut-il m’aider ? » ou « Quelles sont les limites de ce produit de données ? ».

Webinaire sur le data mesh : cinq points à retenir 

Voici les cinq points et informations clés de notre webinaire sur le data mesh : 

• Le data mesh vise à remédier aux limites de la gestion centralisée traditionnelle des données en décentralisant la propriété des données et en permettant aux domaines métiers de gérer leurs données. L’évaluation du data mesh nécessite un examen attentif pour déterminer si la mise en œuvre sociotechnique et les capacités correspondent aux objectifs de votre entreprise. 

• Snowflake fournit une plateforme qui prend en charge les principes du data mesh en permettant une propriété des données évolutive et gouvernée, facilitant le partage de produits de données et réduisant la complexité et les coûts.   

• La Marketplace interne est une fonctionnalité clé de Snowflake qui permet aux domaines de publier, découvrir, partager et utiliser des produits de données gouvernés au sein de leur entreprise.   

• Snowflake permet aux équipes de domaines d’être autonomes en fournissant aux environnements distincts leurs propres ressources de stockage et de calcul, tout en facilitant la collaboration et le partage de données entre les domaines.   

• Snowflake aide à réduire la complexité et les coûts de création et d’exploitation d’une plateforme de produits de données en offrant un service pré-intégré et entièrement géré avec un large éventail de fonctionnalités.

• Snowflake s’intègre à un vaste écosystème d’outils et de services, ce qui permet aux entreprises de créer des architectures personnalisées pour leurs besoins.    

En autonomisant les domaines métiers, en facilitant le partage de données et en réduisant la complexité, une architecture de data mesh peut aider les entreprises à exploiter tout le potentiel de leurs données et à générer de meilleurs résultats. Cependant, construire et exploiter un data mesh nécessite une combinaison de vision, d’alignement et de capacités techniques. Pour réussir, vous devrez puiser dans divers intervenants, outils et solutions. La plateforme Snowflake offre une base de solutions puissante et complète aux entreprises qui sont sur la voie du data mesh.