Libérez tout le potentiel de l’observabilité ouverte avec Observe sur Apache Iceberg
Nous sommes ravis d’annoncer qu’Observe sur Apache Iceberg™ est désormais disponible en private preview. Vos données d’observabilité peuvent maintenant être stockées sous forme d’Iceberg Tables Apache dans votre propre bucket Amazon S3, avec l’intégralité de l’expérience Observe qui s’exécute par-dessus. Cette avancée s’inscrit dans l’engagement plus large d’Observe by Snowflake en faveur des standards ouverts dans le domaine de l’observabilité. En plus de l’ingestion native OpenTelemetry, vos données résident désormais dans un format lisible par tout moteur compatible Iceberg, sur un stockage que vous possédez et contrôlez.
Le volume de logs, de métriques et de traces générés par les systèmes modernes a explosé. Les grandes entreprises ingèrent aujourd’hui des quantités massives de données chaque jour. Pourtant, ces données ont presque toujours été cantonnées à un silo : encodées dans des formats propriétaires, interrogeables uniquement via l’interface du prestataire et inaccessibles au reste de l’organisation. Les équipes d’ingénierie diagnostiquent les problèmes dans un outil pendant que les équipes business et data en utilisent un autre. Croiser les signaux de télémétrie avec les données business impose alors un ETL, des exports manuels ou un pipeline sur mesure. Lorsque vos besoins dépassent les capacités de la plateforme du prestataire, ou que vous souhaitez analyser vos données de télémétrie, en extraire les données s’avère souvent bien plus complexe que cela ne le devrait.
Ces limitations découlent directement de l’architecture des plateformes d’observabilité traditionnelles : conçues pour alimenter l’interface d’un unique prestataire, sans anticiper que les données puissent avoir à résider ailleurs. Les formats de tables ouverts comme Apache Iceberg changent la donne. Lorsque votre télémétrie est stockée dans Iceberg, elle cohabite avec le reste de vos données, sous votre contrôle et accessible via les outils que vos équipes utilisent déjà. Cela réduit au minimum le besoin d’extraire ou de répliquer les données vers un système distinct, ainsi que les coûts liés à ce processus.
Vos données, dans votre stockage objet, dans un format ouvert
Avec Observe sur Iceberg, votre télémétrie est écrite sous forme d’Iceberg Tables directement dans un bucket Amazon S3 de votre compte AWS. Observe accède à ce bucket via un rôle IAM que vous créez et contrôlez. Si vous révoquez ce rôle ou supprimez la configuration du data lake, Observe perd son accès. Les données restent dans votre bucket, dans un format ouvert, et vous appartiennent. Vous pouvez configurer plusieurs data lakes ; les jeux de données qui y résident sont conçus pour rester isolés les uns des autres.
Observe sur Iceberg repose sur des Iceberg Tables gérées par Snowflake, avec la spécification de table v3. Ces tables étant gérées, la compaction, le dimensionnement des fichiers, la maintenance des snapshots et des métadonnées sont automatisés. Résultat : vous bénéficiez de requêtes hautement performantes sans avoir à maintenir les tables vous-même. La spécification v3 apporte également de nouvelles fonctionnalités de tables, notamment des types de données plus riches et des gains de performance.
Pendant la private preview, vous pouvez :
Ingérer des données dans Iceberg via le pipeline Observe, sans étape d’export ou d’ETL distincte : votre configuration d’ingestion existante reste inchangée. Les données transitent par le pipeline d’ingestion Observe et sont écrites dans des Iceberg Tables standard dans votre propre bucket S3.
Stocker les données d’observabilité dans un format ouvert, sur votre propre stockage objet : les jeux de données sont écrits sous forme d’Iceberg Tables standard dans votre bucket S3, selon vos règles de gouvernance, de rétention et de contrôle d’accès. Si vous retirez l’accès d’Observe, les données restent les vôtres.
Créer des moniteurs, des tableaux de bord et des corrélations sur vos données au sein d’Observe : l’expérience Observe complète, (monitoring, tableaux de bord, transformations OPAL, AI SRE et corrélations), est conçue pour fonctionner de manière identique sur les jeux de données adossés à Iceberg. Rien ne change dans votre utilisation quotidienne d’Observe.
Pourquoi Iceberg est le format adapté aux données d’observabilité
Les données d’observabilité se prêtent parfaitement au stockage en colonnes, et Iceberg les stocke par défaut au format Parquet. Les horodatages, noms de service, niveaux de sévérité et attributs structurés se répètent sur des millions d’événements, selon des schémas qui se compressent efficacement et se scannent bien grâce à l’élagage des partitions (partition pruning).
Mais Iceberg ne se limite pas à Parquet. Parquet fournit des fichiers en colonnes simples à interroger, à condition de savoir déjà où ils se trouvent. Iceberg ajoute par-dessus une couche de table qui apporte évolution de schéma, partitionnement, snapshots et un catalogue que n’importe quel moteur compatible peut découvrir et lire sans intégration sur mesure. C’est ce qui rend votre télémétrie réellement ouverte et accessible, plutôt que simplement stockée dans un format efficace.
Lors de nos tests, les workflows d’observabilité s’exécutent avec des performances comparables sur les Iceberg Tables et sur les données natives d’Observe. Vous n’avez donc pas à choisir entre ouverture et performance. Les équipes d’ingénierie peuvent continuer à utiliser Observe pour l’investigation d’incidents, les tableaux de bord, les moniteurs et l’analyse des causes profondes assistée par IA, tandis que le reste de votre organisation accède directement aux mêmes données, dans les outils qu’elles utilisent déjà.
Interrogez avec n’importe quel moteur
Une fois vos données dans des Iceberg Tables, elles ne sont plus lisibles uniquement via Observe. Observe expose un Iceberg REST Catalog en lecture seule via l’API Observe, afin que tout moteur de requête compatible Iceberg puisse découvrir et lire vos tables directement. Cette interopérabilité s’appuie sur Snowflake Horizon Catalog. Apache Spark™, DuckDB, Trino et PyIceberg sont d’ores et déjà pris en charge. Les moteurs externes lisent les fichiers de données directement depuis votre bucket S3 : le chemin des données ne transite jamais par Observe.
Cela ouvre la voie à des workflows que le stockage d’observabilité propriétaire a longtemps rendus complexes. Dès nos premiers échanges avec les clients, nous constatons déjà des cas d’usage qui leur permettent :
de croiser la télémétrie avec les données business internes : interroger les données d’observabilité aux côtés des données de revenus, clients ou produits dans une même analyse, sans construire de pipeline de synchronisation.
d’exécuter des jobs périodiques de data engineering en batch : planifier des transformations ou des agrégations sur la télémétrie historique à l’aide des outils que votre équipe data utilise déjà.
auditer les données d’observabilité à des fins de conformité : interroger la télémétrie brute directement depuis votre propre stockage avec vos propres identifiants, sans passer par un système tiers.
d’entraîner des modèles de ML sur les données opérationnelles : pointer un job Spark ou PyIceberg vers votre historique de télémétrie, sans étape distincte d’export, de copie ou de préparation des données.
Lorsque la télémétrie réside dans le même data lake que vos données business, la frontière entre données opérationnelles et données analytiques s’estompe. Corréler un incident avec l’impact client, des indicateurs de revenus ou un déploiement récent devient une simple requête. Les équipes engineering, data et produit travaillent à partir d’une même source de vérité, sans que personne n’ait à gérer un pipeline de copie de données entre systèmes.
Réduisez et maîtrisez les coûts à grande échelle
Stocker de grands volumes de télémétrie dans un système d’observabilité propriétaire coûte généralement cher, et les coûts s’accumulent à mesure que les volumes de données augmentent. Avec Iceberg, vos données résident sur votre propre stockage objet, plutôt que dans un système géré par un prestataire avec son propre modèle tarifaire.
Iceberg dissociant le stockage du calcul, vous ne payez que pour les requêtes que vous exécutez. Vous pouvez ainsi conserver plusieurs mois de données de télémétrie à un coût bien inférieur à celui des plateformes d’observabilité propriétaires traditionnelles, sans multiplier les niveaux de stockage, sans restaurer des données archivées et sans avoir à choisir quelles données conserver¹.
Et comme ces mêmes données servent plusieurs équipes (équipes engineering pour l’investigation d’incidents, équipes data pour l’analytique, ML engineers pour l’entraînement de modèles), vous éliminez le coût de réplication ou de déplacement des données entre systèmes. Stockez-les une seule fois et lisez-les depuis la même source, quelle que soit l’équipe.
Lancez-vous dès aujourd’hui
Observe on Iceberg est désormais disponible en private preview, une disponibilité plus large étant prévue prochainement. Si vous recherchez un stockage ouvert et portable pour vos données d’observabilité, nous voulons échanger avec vous. Nous vous invitons à :
consulter la documentation Observe on Iceberg
contacter votre équipe de compte Observe pour obtenir un accès
en découvrir plus sur Observe
Que vous recherchiez une conservation long terme, l’interopérabilité avec un data lake existant ou la capacité d’exécuter vos propres analyses sur la télémétrie, nous serons ravis de découvrir comment Observe on Iceberg répond aux besoins de votre équipe.
¹ Les économies réelles sur les coûts de stockage peuvent varier en fonction du volume de données, du fournisseur cloud, de la région et des contrats existants avec les prestataires.
Cet article contient des déclarations prévisionnelles, notamment de futures offres de produits. Il ne constitue en aucun cas un engagement à fournir des offres de produits. Les résultats et les offres réels peuvent différer et sont soumis à des risques et incertitudes connus et inconnus.
Apache®, Apache Iceberg, Apache Spark et les marques associées sont des marques déposées ou des marques commerciales de l’Apache Software Foundation aux États-Unis et/ou dans d’autres pays.
