Blog/Data engineering/Configuration automatisée de Snowpipe : créez des pipelines d’ingestion avec CoCo en un seul prompt
27 oct. 2026/Lecture : 9 minData engineering

Configuration automatisée de Snowpipe : créez des pipelines d’ingestion avec CoCo en un seul prompt

Aujourd’hui, nous annonçons la disponibilité générale de la configuration automatisée de Snowpipe avec Snowflake CoCo. En une seule conversation en langage naturel, les équipes peuvent passer de fichiers bruts arrivant dans un stockage cloud à une table Snowflake standard ou une table Apache Iceberg™ gérée par Snowflake et alimentée en continu. CoCo échantillonne automatiquement les fichiers, déduit le schéma, crée le pipeline et vérifie que les données se chargent comme prévu. Une nouvelle source n’a donc plus à attendre dans la file d’attente du data engineering. Pour en savoir plus ou vous lancer, consultez la documentation sur la configuration automatisée de Snowpipe.

Les entreprises ont de plus en plus besoin que leurs applications et agents d’IA exploitent les nouvelles données dès qu’elles sont générées. Pourtant, chaque nouvelle source doit encore être connectée avant de pouvoir être utilisée. Prenons l’exemple d’une équipe mobile qui lance une nouvelle application. Les données d’utilisation des premiers jours sont souvent les plus précieuses. Elles indiquent si les utilisateurs trouvent les nouvelles fonctionnalités et ce qu’il faut corriger avant de créer la prochaine version. Les données commencent immédiatement à arriver sous forme de fichiers clickstream, déposés toutes les quelques minutes dans un bucket Amazon S3. Le temps presse tout autant pour une équipe de sécurité qui analyse un incident à partir des journaux d’application, un fabricant qui surveille les données de capteurs d’une nouvelle ligne de production ou une équipe financière qui intègre les exports quotidiens d’un partenaire. Tous ces flux finissent sous forme de fichiers dans un stockage cloud. Leur valeur dépend de la rapidité avec laquelle il est possible d’exécuter une requête sur leur contenu.

Snowpipe, le service de chargement continu de Snowflake, a été conçu pour ce type de données. Il prend généralement en charge chaque nouveau fichier quelques minutes après son arrivée dans le stockage cloud, à l’aide d’un calcul serverless géré par Snowflake. Ce qui ralentit généralement les équipes, c’est le travail à accomplir avant le premier chargement. Il faut inspecter les fichiers pour choisir les options de format, puis créer l’intégration de stockage, la zone de préparation, la table et le pipe. L’équipe cloud doit également configurer un rôle IAM, une stratégie d’approbation et les notifications d’événements qui signalent à Snowpipe l’arrivée d’un fichier. Tant que ces étapes ne sont pas terminées, les jours les plus décisifs passent, tandis que les données restent dans un bucket sur lequel personne ne peut exécuter de requête.

Disponible dans Snowsight, CoCo Desktop et CoCo CLI, la configuration automatisée de Snowpipe permet à toute personne disposant des autorisations requises de connecter directement une nouvelle source, sans attendre un data engineer. Par défaut, CoCo vous demande une approbation explicite avant toute modification. Une fois la configuration terminée, Snowpipe continue d’alimenter les données bien après la fin de la session CoCo.

« Les agents d’IA transforment la manière dont les équipes exploitent leurs données, mais chaque projet commence toujours par la connexion de nouvelles sources. Avec Snowflake CoCo et Snowpipe, nous prenons en charge les étapes les plus complexes de leur mise en service. Les équipes peuvent ainsi concrétiser davantage d’idées sous forme d’applications opérationnelles, qui restent à jour à mesure que de nouveaux fichiers arrivent. Notre partenariat avec AWS simplifie encore ce processus pour les clients qui utilisent Amazon S3. »

Saptarshi Mukherjee
Senior Director of Product Management, Snowflake

 

Avec ce lancement, vous pouvez :

  • Partir d’un chemin de stockage cloud : indiquez à CoCo des fichiers stockés dans Amazon S3, Azure Blob Storage ou Google Cloud Storage. Il détecte leur format et propose un schéma.
  • Confier à Snowflake la configuration AWS : approuvez une seule demande de délégation temporaire AWS IAM, limitée dans le temps. Snowflake crée alors le rôle de stockage, la stratégie d’approbation et les notifications du bucket, sans qu’aucune clé d’accès AWS ne soit à partager.
  • Conserver votre infrastructure sous forme de code sur n’importe quel cloud : CoCo génère le code Terraform du pipeline complet, y compris les Iceberg Tables, prêt à suivre le processus de révision habituel de votre équipe.
  • Charger les données dans des tables Apache Iceberg ouvertes : choisissez une table Iceberg et Snowflake et tout moteur compatible avec Iceberg peuvent alors lire les mêmes données.
  • Vérifier le bon fonctionnement du pipeline : CoCo vérifie que les fichiers arrivent bien dans la table et signale toute erreur de chargement.
Schéma comparant deux façons de configurer un chargement continu Snowpipe depuis AWS. En haut, la configuration manuelle (Manual setup) demande cinq étapes réparties sur deux consoles, en va-et-vient entre la console AWS et Snowflake : rôle et politique IAM, intégration de stockage (storage integration), mise à jour de la politique d'approbation (trust policy), stage, table et pipe, puis notifications d'événements. En bas, avec CoCo, une seule conversation suffit : décrire la source, choisir le mode d'autorisation, valider les premiers chargements, puis Snowpipe continue de charger les données automatiquement.
Figure 1 : Sur Amazon S3, une seule demande adressée à CoCo remplace les allers-retours manuels entre la console de gestion AWS et Snowflake.

« Les clients Snowflake sur AWS veulent exploiter plus rapidement leurs données Amazon S3 sans relâcher le contrôle des accès. Grâce à la délégation temporaire AWS IAM, Snowflake CoCo leur permet d’autoriser depuis la console AWS un accès limité dans le temps et dans son périmètre, tandis que Snowflake configure Snowpipe. Cet exemple illustre parfaitement comment AWS et Snowflake aident ensemble leurs clients à consacrer moins de temps à la configuration et davantage à l’exploitation de leurs données. »

Chris Spandikow
Director of Engineering, AWS

Indiquez à CoCo un chemin de stockage cloud

L’équipe mobile commence par une seule phrase :

Ingère en continu les données depuis s3://my-bucket/clickstream/

Dans Snowsight, l’équipe peut également partir de Ingestion » Ajouter des données, puis sélectionner Configurer Snowpipe avec CoCo. Dans les deux cas, CoCo demande où les données doivent être chargées et laquelle des quatre options de configuration convient à votre équipe : accès temporaire à Amazon S3, Terraform pour le pipeline complet, accès cloud existant ou objets Snowflake accompagnés de fichiers de configuration cloud.

CoCo échantillonne ensuite les fichiers pour détecter leur format, par exemple CSV, JSON, Parquet, Avro, ORC ou XML, puis proposer des noms de colonnes et des types de données.

CoCo réutilise les intégrations de stockage, les zones de préparation et les formats de fichiers compatibles. Si un pipe couvre déjà les mêmes fichiers, CoCo le signale et attend votre décision pour éviter de charger deux fois les données. Chaque instruction s’exécute avec votre rôle Snowflake actif. Par défaut, CoCo affiche le code SQL et vous demande votre approbation avant de créer ou de modifier des objets Snowflake.

Les fichiers arrivés avant la création du pipe ne sont pas oubliés : CoCo propose de charger immédiatement les données des sept derniers jours et peut effectuer un chargement ponctuel pour les fichiers plus anciens. Si l’application commence à envoyer de nouveaux champs, CoCo peut activer l’évolution du schéma afin de les convertir en nouvelles colonnes. Pour une table existante, il vous demande d’abord votre accord.

Laissez Snowflake automatiser la configuration cloud sur AWS

Le bucket de l’équipe mobile se trouve dans Amazon S3. Elle utilise donc la délégation temporaire AWS IAM pour accorder à Snowflake des autorisations limitées dans le temps et au strict nécessaire pour la configuration :

  • CoCo prépare la demande : il demande uniquement les autorisations nécessaires à la configuration, comme l’accès aux notifications d’un bucket et l’autorisation de créer ou de mettre à jour le rôle de stockage utilisé par Snowpipe, avec une limite d’autorisations qui encadre les actions possibles de ce rôle.
  • Vous décidez dans AWS Management Console : examinez chaque autorisation demandée, puis acceptez-la, refusez-la ou transmettez-la à votre administrateur AWS pour approbation.
  • Snowflake configure les éléments que vous avez approuvés : il crée le rôle de stockage et la stratégie d’approbation. Une fois que CoCo a créé le pipe avec le code SQL que vous avez approuvé, Snowflake ajoute la règle de notification du pipe tout en conservant les règles existantes du bucket.

AWS CloudTrail consigne chaque action de configuration effectuée par Snowflake avec le rôle délégué. L’historique Snowflake montre également chaque requête exécutée par CoCo avec votre utilisateur et votre rôle.

Schéma d'architecture de la configuration sécurisée d'une ingestion Snowpipe depuis Amazon S3, entre un compte AWS (« Your AWS account ») et Snowflake. L'utilisateur approuve la portée et la durée de l'accès, et CoCo l'utilise pour créer les objets Snowflake et valider les premiers chargements. Cet accès de configuration temporaire expire après la durée approuvée. Il crée les notifications de bucket et le rôle IAM d'ingestion, qui restent en place sous le contrôle de l'utilisateur. AWS CloudTrail enregistre l'activité de configuration. Ensuite, l'ingestion continue (Ongoing ingestion) va du bucket S3 vers Snowpipe, puis vers une table Snowflake.
Figure 2 : Une fois l’accès temporaire arrivé à expiration, seuls le rôle d’accès au stockage et les notifications du compartiment restent dans le compte AWS pour assurer la continuité des chargements.

Conservez votre pipeline sous forme de code ou déployez-le à votre façon

Les équipes qui déploient leurs ressources cloud à l’aide de code peuvent demander à CoCo de préparer la configuration sous forme de code sur AWS, Azure et Google Cloud. Pour les tables standard et les Iceberg Tables, CoCo génère le code Terraform du pipeline complet. Celui-ci couvre les objets Snowflake et les ressources cloud, avec des paramètres renseignés à partir des fichiers échantillonnés. Sur AWS, le code Terraform conserve les règles de notification existantes du bucket. Votre équipe l’examine dans une pull request, puis le déploie selon son processus habituel. CoCo propose également deux autres options de configuration :

  • Réutiliser un accès cloud existant : conservez l’intégration de stockage et le rôle IAM que vous utilisez déjà. CoCo vous guide ensuite dans la configuration des notifications.
  • Créer les objets Snowflake et générer les fichiers de configuration cloud : CoCo crée les objets Snowflake avec le code SQL que vous approuvez, puis génère des modèles Terraform, CloudFormation ou ARM que votre équipe cloud peut déployer.

Par exemple :

Génère l’intégralité de la configuration Terraform de Snowpipe pour gcs://my-bucket/events/. Mon équipe se chargera de la déployer.

CoCo Desktop et CoCo CLI peuvent appliquer pour vous le code Terraform et les fichiers de configuration cloud, à l’aide des identifiants cloud présents sur votre machine et après vous avoir demandé votre accord avant chaque application. Vous pouvez aussi confier le déploiement à votre équipe. Dans Snowsight, CoCo enregistre les fichiers dans un dossier snowpipe de votre espace de travail.

Chargez les mêmes données dans des tables Apache Iceberg ouvertes

Si une équipe de data science souhaite exploiter les mêmes données clickstream dans Apache Spark™, demandez plutôt une table Iceberg :

Ingère en continu les données de s3://my-bucket/clickstream/ dans une table Iceberg.

CoCo configure une table Iceberg gérée par Snowflake ainsi que le pipe qui l’alimente. Snowpipe écrit les données au format Parquet en convertissant les autres formats lors du chargement. Snowflake gère les métadonnées Iceberg afin que Spark et d’autres moteurs compatibles avec Iceberg puissent lire la table. Snowflake assure également la maintenance des Iceberg Tables gérées par Snowflake. Vous pouvez aussi générer le pipeline Iceberg sous forme de code Terraform.

Laissez CoCo confirmer le chargement des premiers fichiers

Une fois l’accès et le déploiement terminés, CoCo vérifie l’état du pipe, la remise des notifications et l’historique de chargement, puis signale toute erreur. Vous n’avez pas besoin d’exécuter vous-même une requête sur SYSTEM$PIPE_STATUS ou COPY_HISTORY. Si aucun nouveau fichier n’est encore arrivé, CoCo peut vous guider dans l’utilisation d’un fichier de test.

Frise chronologique conceptuelle (« Conceptual, not to scale ») comparant la session CoCo et Snowpipe. En haut, la session CoCo comprend deux phases, Setup puis Validation, qui vérifient l'état du pipe, les notifications et l'historique de chargement. Une ligne verticale en pointillés marque la fin de session (« Session ends ») : plus aucune conversation à garder ouverte. En bas, Snowpipe démarre pendant la configuration et continue de charger chaque nouveau fichier dès son arrivée, sur du calcul serverless, bien après la fin de la session.
Figure 3 : CoCo valide le pipeline, puis la session prend fin tandis que Snowpipe continue de charger les nouveaux fichiers.

Pour l’équipe mobile, le clickstream collecté depuis le jour du lancement se trouve déjà dans une table. Il indique les nouvelles fonctionnalités utilisées et les éléments à corriger avant de créer la prochaine version. Ces mêmes données actualisées sont prêtes pour les applications et agents d’IA qui en dépendent.

Effectuez des chargements ponctuels avec CoCo

Le chargement en masse avec CoCo est également disponible pour tous nos clients dès aujourd’hui. Lorsque les fichiers sont déjà disponibles, par exemple pour un chargement rétroactif, une migration ou une livraison à la demande, demandez à CoCo d’effectuer un chargement ponctuel. Il prépare le format de fichier et la table, exécute COPY INTO sur votre warehouse et vérifie les résultats. Si une demande n’explique pas s’il faut effectuer un chargement ponctuel ou continu, CoCo vous pose d’abord la question.

Lancez-vous dès aujourd’hui

Consultez les prérequis et les privilèges nécessaires dans la documentation sur la configuration automatisée de Snowpipe, puis :

  • Ouvrez CoCo dans Snowsight, CoCo Desktop ou CoCo CLI. Dans Snowsight, vous pouvez également sélectionner Configurer Snowpipe avec CoCo sur la page Ingestion » Ajouter des données.
  • Décrivez votre source. Par exemple : Ingérer en continu les données depuis s3://your-bucket/path/
  • Choisissez une option de configuration, puis approuvez les éléments préparés par CoCo.
  • Laissez CoCo confirmer les premiers chargements.

Ressources sur Snowpipe et CoCo

Après la configuration, Snowpipe charge les fichiers à l’aide d’un calcul serverless, facturé au titre de l’utilisation de Snowpipe. Pour en savoir plus, consultez les pages Coûts de CoCo et Coûts de Snowpipe. Si vous découvrez Snowflake, commencez un essai gratuit. Pour en savoir plus, consultez les ressources suivantes :

Indiquez à CoCo votre prochaine source de données et laissez Snowpipe l’alimenter en continu.

À noter : La délégation temporaire AWS IAM n’est pas disponible dans les régions AWS GovCloud (US) ou en Chine. Les approbations cloud et la propagation des autorisations peuvent influer sur le délai de configuration.

Partager ce post

Subscribe to our blog newsletter

Get the best, coolest and latest delivered to your inbox each week

Where Data Does More