Vidéo
FONCTIONNALITÉ
dbt Projectssur Snowflake
Exécutez des pipelines dbt directement dans Snowflake sans orchestration externe. Gérez le temps d’exécution, préservez la compatibilité dbt Core et connectez-vous aux flux de travail d’observabilité intégrée, de traçabilité au niveau des colonnes et d’IA agentique.
Déchargez l’infrastructure dbt vers Snowflake
Importez votre projet dbt. Snowflake provisionne les ressources de calcul, gère les mises à niveau et prend en charge l’exécution.
Planifiez des modèles dbt grâce aux Snowflake Tasks natives
Créez et planifiez vos pipelines dbt directement avec vos Snowflake Tasks existantes, sans changer d’outil ni gérer de tâches cron.
Observez toutes les transformations, y compris la traçabilité au niveau des colonnes
Suivez la circulation des données sur chaque modèle dbt et objet Snowflake. La traçabilité au niveau des colonnes indique exactement les colonnes à partir desquelles un modèle lit ou écrit.
Création agentique
Créez des des pipelines dbt prêts pour l‘IA avec Snowflake CoCo
Créez des modèles dbt, des tests et de la documentation en langage naturel. Décrivez simplement votre tâche de modélisation : Snowflake CoCo génère le code YAML, les macros Jinja et la structure initiale des tests. Vos pipelines sont ainsi conçus dès le départ pour alimenter les applications d’IA en aval.
PLANIFICATION NATIVE
Planifiez des modèles dbt avec Snowflake Tasks
Avec Snowflake Tasks, vos modèles dbt s’exécutent à l’heure prévue ou automatiquement dès l’arrivée de nouvelles données en amont. Inutile de recourir à un outil de planification tiers ou à une infrastructure supplémentaire : vos pipelines dbt utilisent les mêmes ressources de calcul et le même système de planification que toutes vos autres charges de travail Snowflake.
TRAÇABILITÉ AU NIVEAU DES COLONNES
Suivez chaque exécution du modèle dbt, jusqu’à la colonne
Lorsqu’un modèle échoue ou que vous devez auditer votre pipeline, Snowflake Horizon vous permet de suivre le parcours de chaque colonne. Visualisez la façon dont les données des tables brutes traversent chaque modèle pour alimenter les data marts et les vues. Grâce à une traçabilité au niveau des colonnes, identifiez précisément les colonnes que chaque modèle lit et celles dans lesquelles il écrit.
ACTUALISATION DES VERSIONS
Laissez chaque équipe choisir sa version de dbt
Avec une compatibilité complète entre les versions de dbt Core, votre code dbt s’exécute à l’identique en local et dans Snowflake, sans adaptation. La prise en charge de dbt Fusion est incluse, sans coût de licence supplémentaire.
Comment fonctionnedbt Projects sur Snowflake
Créez et testez votre projet
Intégrez des projets dbt existants dans Snowflake Workspaces ou créez des projets avec Snowflake CoCo.
Déployez votre projet
Snowflake prend en charge le provisionnement des ressources de calcul, la gestion de l’environnement d’exécution et les mises à niveau de version. Votre équipe développe les modèles, Snowflake gère le reste.
Planifiez grâce aux Tasks
Avec Snowflake Tasks, planifiez l’exécution de vos modèles dbt ou déclenchez-la automatiquement dès l’arrivée de nouvelles données.
Assurez la surveillance avec Horizon
Snowflake Horizon cartographie automatiquement les flux de données, colonne par colonne, et collecte les données d’observabilité pour vous offrir une visibilité complète sur chaque pipeline. Avec Snowflake CoCo, analysez et corrigez rapidement les incidents en production.
dbt Projects sur Snowflake
Questionsfréquentes
La réponse aux questions les plus courantes au sujet de dbt Projects sur Snowflake, entre autres par rapport à dbt Core en open source.
Qu’est-ce que dbt Projects sur Snowflake et en quoi diffère-t-il de dbt Core ?
dbt Projects sur Snowflake est une expérience dbt native, directement intégrée à Snowflake. Contrairement à dbt Core, dont vous devez assurer vous-même la gestion, dbt Projects sur Snowflake s’exécute sur l’infrastructure de Snowflake. Snowflake gère l’environnement d’exécution, assure la prise en charge des différentes versions et relie vos transformations aux fonctionnalités intégrées d’observabilité, de traçabilité des données et de planification des tâches.
Comment planifier l’exécution de dbt Projects sur Snowflake ?
dbt Projects sur Snowflake s’intègre nativement à Snowflake Tasks. Vous pouvez planifier l’exécution d’un projet complet ou cibler des modèles précis à l’aide des commandes DDL standard de Snowflake Tasks, sans avoir besoin d’un orchestrateur externe. La planification de vos pipelines reste ainsi centralisée dans Snowflake, avec vos données et les informations sur leur traçabilité.
Quelles versions de dbt Core sont prises en charge ?
dbt Projects sur Snowflake assure une prise en charge équivalente des différentes versions de dbt Core. Vous pouvez exécuter le même code dbt en local ou dans Snowflake, sans le modifier.
Puis-je utiliser mon projet dbt Core existant avec dbt Projects sur Snowflake ?
Oui. dbt Projects sur Snowflake est conçu pour les équipes qui utilisent déjà dbt Core ou dbt Cloud. Vous pouvez importer directement votre projet existant dans Snowflake. La plupart des projets ne nécessitent aucune modification de leurs modèles, tests ou macros.
Consultez le guide de migration de dbt Core vers dbt Projects
Comment fonctionne l’observabilité pour dbt Projects sur Snowflake ?
Chaque exécution d’un modèle dbt dans Snowflake transmet directement ses données de traçabilité à Snowflake Horizon. Vous bénéficiez automatiquement d’une traçabilité au niveau des tables et des colonnes, sans configuration supplémentaire. Dans Snowsight, vous pouvez suivre l’état des exécutions, leur durée et les erreurs rencontrées.
dbt Projects sur Snowflake prend-il en charge le moteur dbt Fusion ?
Oui. Le moteur dbt Fusion est disponible pour dbt Projects sur Snowflake. Fusion utilise une nouvelle architecture de compilation qui peut réduire considérablement les temps de build des projets dbt de grande taille.
