Blog/Perspectives/Nouvelles exigences, nouvelle conception : décrypter les deux grandes mutations du data engineering
12 juin 2026/Lecture : 4 minPerspectives

Nouvelles exigences, nouvelle conception : décrypter les deux grandes mutations du data engineering

Le data engineering connaît aujourd’hui deux mutations majeures, l’une dans sa fonction, l’autre dans sa forme. La première saute aux yeux : l’IA redéfinit en profondeur la fonction des data engineers, à presque tous les niveaux. Son appétit insatiable pour les données impose aux équipes de data engineering des exigences hors normes, indispensables à leur réussite, mais extrêmement difficiles à tenir. La seconde concerne la forme, c’est-à-dire la manière dont les data engineers doivent répondre à ces nouvelles exigences toujours plus fortes. Les data engineers sont passés de tâches essentiellement manuelles et répétitives à des missions plus stratégiques, en adoptant les bonnes pratiques du développement logiciel pour valoriser leur travail. Ils ne sont plus de simples plombiers des données ou constructeurs de pipelines : ils sont les architectes opérationnels de toute organisation data-driven. Et désormais, impossible de revenir en arrière.

Dans le data engineering moderne, il ne s’agit plus de relier manuellement chaque élément. Cette approche ne permet tout simplement pas de faire évoluer les opérations pour répondre aux besoins de l’IA. Alors que les volumes de données augmentent de façon exponentielle et deviennent rapidement à la fois disponibles et exploitables, les data engineers doivent gagner en efficacité pour suivre le rythme. C’est là qu’une approche plus moderne et déclarative de la création de pipelines change véritablement la donne pour les data engineers. En faisant abstraction des détails de chaque étape pour se concentrer sur l’état final recherché, les data engineers peuvent démultiplier leur productivité et atteindre des résultats autrefois hors de portée.

Prenons l’exemple des agents de codage. En quelques mois, ces outils, notamment Cursor, Claude Code et Cortex Code de Snowflake, ont révolutionné notre vision du développement logiciel et, par extension, du data engineering. Comment ? Depuis des années, les équipes de data engineering adoptent discrètement les bonnes pratiques issues des cycles de vie définis par logiciel. Elles traitent l’infrastructure comme du code et créent des environnements structurés, contrôlés par version, où les pipelines de données ressemblent étroitement à du code logiciel sans état. Comme ces agents de codage basés sur l’IA sont largement entraînés à résoudre des problématiques d’ingénierie logicielle, ils s’adaptent assez facilement à cette forme moderne de data engineering.

Cette évolution vers une approche plus moderne et déclarative crée les conditions nécessaires pour rendre les outils d’IA pleinement opérationnels. Mais surtout, elle fournit le filet de sécurité nécessaire pour faire évoluer l’utilisation de l’IA. Auparavant, corriger un pipeline impliquait d’exécuter directement des commandes SQL brutes dans un environnement de production. En cas de problème, il était extrêmement complexe d’en déterminer la cause. Aujourd’hui, une approche moderne consiste à enregistrer les modifications dans un système de contrôle de version, à les tester, puis à ne les déployer qu’une fois leur fiabilité établie. Pouvoir tester facilement les modifications et revenir à une version antérieure est un prérequis absolu avant de confier à l’IA l’écriture ou la gestion des workflows de données.

Faire confiance à l’IA ne signifie pas pour autant lui accorder une confiance aveugle. L’essentiel est plutôt d’avoir confiance dans le processus de data engineering sous-jacent. Certaines organisations exécutent déjà simultanément des milliers de pipelines de données, au point qu’une supervision humaine de chaque composant devient pratiquement impossible. Bientôt, nous passerons à l’IA agentique, où des agents logiciels prendront en charge une part croissante de la construction des pipelines. Le rôle des data engineers gagnera une nouvelle fois en importance : ils délaisseront l’écriture de scripts individuels pour se concentrer sur la modélisation avancée des données et les exigences système. Ils travailleront au plus près du business afin de garantir la disponibilité et la qualité des données pour l’IA, l’analytique et les applications.

En définitive, l’avenir du data engineering ne consiste pas à écrire de meilleurs scripts pour déplacer les données. Il consiste à concevoir des systèmes résilients qui assurent ces connexions à votre place. C’est pourquoi le Lead Developer Advocate Gilberto Hernandez a écrit « Construire des pipelines pour l’IA : le guide essentiel d’un data engineering plus intelligent », un ouvrage conçu précisément pour vous y aider. Il y présente le framework ITD (ingestion-transformation-diffusion) appliqué aux pipelines de données et passe en revue les approches traditionnelles associées à chaque étape, avec leurs atouts comme leurs limites. Il met en lumière les outils et méthodes modernes qui peuvent aider les équipes de data engineering à s’adapter à un environnement en pleine mutation et à préparer l’avenir.

Partager ce post

Subscribe to our blog newsletter

Get the best, coolest and latest delivered to your inbox each week

Where Data Does More