Liberare il potenziale dell’osservabilità open con Observe su Apache Iceberg

Siamo lieti di annunciare che Observe su Apache Iceberg™ è ora disponibile in private preview. Ora puoi archiviare i dati di osservabilità come Apache Iceberg Tables nel tuo bucket Amazon S3 e sfruttare l’intera esperienza Observe. Questa novità conferma il più ampio impegno di Observe by Snowflake a favore degli standard open per l’osservabilità. Oltre a utilizzare un’ingestion nativa di OpenTelemetry, ora puoi conservare i dati in uno spazio di archiviazione che possiedi e controlli, in un formato leggibile da qualsiasi motore compatibile con Iceberg.

Il volume di log, metriche e tracce generato dai sistemi moderni è cresciuto enormemente. Oggi le aziende leader acquisiscono ogni giorno enormi quantità di dati. Tradizionalmente, però, questi dati sono rimasti quasi sempre isolati: codificati in formati specifici del fornitore, interrogabili solo tramite la sua interfaccia e inaccessibili al resto dell’organizzazione. I team di engineering risolvono i problemi con uno strumento, mentre i team business e dati ne usano un altro. Per correlare i segnali di telemetria con i dati aziendali servono processi ETL, esportazioni manuali o una pipeline personalizzata. Quando le esigenze superano le capacità della piattaforma del fornitore o vuoi eseguire analisi dei dati sulla telemetria, estrarre queste informazioni diventa spesso più difficile del necessario.

Questi problemi derivano dall’architettura delle piattaforme di osservabilità tradizionali, progettate per servire l’interfaccia di un singolo fornitore senza prevedere che i dati potessero risiedere altrove. I formati di tabella open come Apache Iceberg cambiano questo scenario. Quando archivi la telemetria in Iceberg, questa risiede insieme agli altri dati, sotto il tuo controllo e accessibile dagli strumenti già utilizzati dai team. Riduci così la necessità di estrarre o replicare i dati in un sistema separato, insieme ai costi associati.

I tuoi dati, nel tuo object storage, in un formato open

Con Observe su Iceberg, la telemetria viene scritta come Iceberg Tables direttamente in un bucket Amazon S3 del tuo account AWS. Observe accede al bucket tramite un ruolo IAM che crei e controlli. Se revochi il ruolo o rimuovi la configurazione del data lake, Observe non può più accedere al bucket. I dati restano nel tuo bucket, in un formato open, e continuano ad appartenerti. Puoi configurare più data lake, mantenendo isolati i set di dati archiviati in ciascuno di essi.

Observe su Iceberg si basa su Iceberg Tables gestite da Snowflake che utilizzano la specifica di tabella v3. Poiché le tabelle sono gestite, la compattazione, il dimensionamento dei file e la manutenzione di snapshot e metadati avvengono automaticamente. Ottieni così query ad alte prestazioni senza dover gestire direttamente le tabelle. La specifica v3 introduce inoltre nuove funzionalità per le tabelle, tra cui tipi di dati più completi e prestazioni superiori.

Con la private preview puoi:

• caricare i dati in Iceberg tramite la pipeline Observe, senza esportazioni separate o processi ETL: la configurazione di ingestion esistente non cambia. I dati attraversano la pipeline di ingestion Observe e vengono scritti come Iceberg Tables standard nel tuo bucket S3.

• archiviare i dati di osservabilità in un formato open nel tuo object storage: I set di dati vengono scritti come Iceberg Tables standard nel tuo bucket S3, nel rispetto della tua governance, delle policy di conservazione e dei controlli degli accessi. Se rimuovi l’accesso di Observe, i dati restano tuoi.

• sviluppare monitor, dashboard e correlazioni sui dati all’interno di Observe: l’intera esperienza Observe, che comprende monitoraggio, dashboard, trasformazioni OPAL, AI SRE e correlazioni, è progettata per funzionare allo stesso modo sui set di dati basati su Iceberg. Il modo in cui utilizzi Observe ogni giorno non cambia.

   

Perché Iceberg è il formato giusto per i dati di osservabilità

I dati di osservabilità si prestano particolarmente all’archiviazione colonnare e Iceberg li memorizza in Parquet di default. Timestamp, nomi dei servizi, livelli di gravità e attributi strutturati si ripetono in milioni di eventi, secondo schemi che consentono una compressione efficiente e scansioni ottimizzate tramite partition pruning.

Ma Iceberg offre molto più di Parquet. Parquet fornisce file colonnari facili da interrogare, purché se ne conosca già la posizione. Iceberg aggiunge il livello tabellare, con evoluzione dello schema, partizionamento, snapshot e un catalogo che qualsiasi motore compatibile può individuare e leggere senza integrazioni personalizzate. È questo che rende la telemetria open e accessibile, anziché limitarsi ad archiviarla in un formato efficiente.

Nei nostri test, i workflow di osservabilità sulle Iceberg Tables hanno registrato prestazioni analoghe a quelle ottenute con i dati nativi di Observe. Non devi quindi scegliere tra apertura e prestazioni. I team di engineering possono continuare a usare Observe per analizzare gli incidenti, creare dashboard e monitor ed eseguire analisi delle cause principali assistite dall’intelligenza artificiale. Il resto dell’organizzazione può accedere direttamente agli stessi dati con gli strumenti che già utilizza.

Interrogare i dati con qualsiasi motore

Una volta archiviati nelle Iceberg Tables, i dati non sono leggibili soltanto tramite Observe. Observe espone un Iceberg REST Catalog di sola lettura tramite l’API Observe, consentendo a qualsiasi motore di query compatibile con Iceberg di individuare e leggere direttamente le tabelle. Snowflake Horizon Catalog supporta questa interoperabilità. Apache Spark™, DuckDB, Trino e PyIceberg sono già compatibili. I motori esterni leggono i file di dati direttamente dal bucket S3, senza passare da Observe.

Questo rende possibili workflow che i sistemi proprietari di archiviazione per l’osservabilità hanno storicamente reso difficili. Dalle prime conversazioni con i clienti stanno già emergendo casi d’uso che consentono di:

• unire la telemetria ai dati aziendali interni: interrogare i dati di osservabilità insieme a quelli relativi a ricavi, clienti o prodotti in un’unica analisi, senza creare una pipeline per sincronizzarli.

• eseguire periodicamente processi di data engineering sui dati batch: programmare trasformazioni o aggregazioni sulla telemetria storica con gli strumenti già gestiti dal team dati.

• sottoporre a audit i dati di osservabilità ai fini della conformità: interroga la telemetria grezza direttamente dal tuo spazio di archiviazione, con le tue credenziali e senza instradarla attraverso un sistema di terze parti.

• addestrare modelli ML sui dati operativi: esegui un processo Spark o PyIceberg sulla cronologia della telemetria senza esportare o copiare i dati, né svolgere una fase separata di preparazione.

Quando la telemetria risiede nello stesso data lake dei dati aziendali, il confine tra dati operativi e analitici inizia a scomparire. Per correlare un incidente con l’impatto sui clienti, le metriche dei ricavi o un deployment recente basta una semplice query. I team di engineering, dati e prodotto possono lavorare dalla stessa fonte attendibile, senza dover gestire una pipeline che copia i dati tra sistemi.

Ridurre e controllare i costi su larga scala

Archiviare grandi volumi di telemetria in un sistema di osservabilità proprietario è generalmente costoso, e la spesa aumenta insieme alla quantità di dati. Con Iceberg, i dati risiedono nel tuo object storage anziché in un sistema gestito da un fornitore con un proprio modello di prezzo.

Poiché Iceberg separa l’archiviazione dalla capacità di calcolo, paghi solo per le query che esegui. Puoi così conservare mesi di telemetria a una frazione del costo delle tradizionali piattaforme di osservabilità proprietarie, senza tiering, reidratazione o compromessi sui dati da mantenere.¹

Inoltre, poiché gli stessi dati servono più team, dall’engineering per l’analisi degli incidenti ai team dati per l’analisi dei dati, fino agli ML engineer per l’addestramento dei modelli, puoi eliminare i costi legati alla replica o allo spostamento dei dati tra sistemi. Archivia i dati una sola volta e consenti a ogni team di leggerli dalla stessa fonte.

Inizia oggi

Observe su Iceberg è ora disponibile in private preview e sarà presto accessibile a un pubblico più ampio. Se cerchi uno spazio di archiviazione open e portabile per i dati di osservabilità, vogliamo conoscere le tue esigenze. Puoi:

• consultare la documentazione di Observe su Iceberg

• contattare il tuo account team Observe per richiedere l’accesso

• scoprire di più su Observe

Che tu voglia conservare i dati a lungo termine, garantire l’interoperabilità con un data lake esistente o eseguire analisi dei dati personalizzate sulla telemetria, raccontaci come Observe su Iceberg può supportare il tuo team.

¹Il risparmio effettivo sui costi di archiviazione può variare in base al volume dei dati, al cloud provider, alla regione e ai contratti in essere con i fornitori.

Questo articolo contiene delle affermazioni riferite al futuro, tra cui offerte future di prodotti, che però non rappresentano un impegno a fornire alcuna offerta di prodotti. Le offerte e i risultati effettivi potrebbero essere diversi ed essere soggetti a incertezze e rischi noti e non noti.

Apache®, Apache Iceberg, Apache Spark e i marchi correlati sono marchi registrati o marchi di Apache Software Foundation negli Stati Uniti e/o in altri Paesi.