Migliorare prestazioni, qualità e costi dell’AI con Agent Observability

Gli agenti AI stanno cambiando il panorama dell’observability, introducendo nuove preoccupazioni su qualità delle risposte e spesa per l’AI. Un agente AI può completare una richiesta senza errori e comunque recuperare informazioni errate o produrre una risposta di scarsa qualità. I workflow multistep possono includere numerosi prompt, tool call, retrieval, retry e completion, rendendo difficile stabilire dove la qualità si sia degradata e cosa abbia determinato il consumo di token e i costi. Gli agenti AI generano anche più telemetria rispetto alle richieste applicative tradizionali, aumentando il costo e la complessità della conservazione dei dati necessari per le indagini. Per gestire i costi, i team spesso ricorrono al campionamento o all’eliminazione della telemetria, creando vuoti proprio quando i dati sono più necessari.

Agent Observability (in arrivo in private preview) in Observe by Snowflake è pensato per affrontare queste sfide emergenti. Consente ai team di monitorare, eseguire il debug e migliorare gli agenti AI e le app basate su LLM, tracciando lo svolgimento delle interazioni e collegando il comportamento degli agenti AI a costi e qualità.

Agent Observability fornirà la strumentazione, le metriche, gli strumenti e l’interfaccia utente di cui i team hanno bisogno per eseguire il debug delle interazioni con gli agenti AI, isolare i problemi di prestazioni e qualità, identificare cosa determina la spesa per l’AI e migliorare i risultati di business. Progettato in modo nativo su Snowflake, Observe è pensato per conservare e analizzare la telemetria degli agenti AI in modo efficiente in termini di costi e su larga scala. I team possono quindi correlare questi segnali operativi con i dati di business su Snowflake per capire quali agenti AI e workflow generano risultati significativi, migliorare quelli che non sono all’altezza e indirizzare gli investimenti in AI verso le aree che creano il maggior valore.

Con Agent Observability, i team potranno:

• Strumentare gli agenti AI utilizzando un SDK opzionale conforme a OpenTelemetry o la strumentazione esistente: catturare prompt, completion, retrieval, tool call, utilizzo dei token e ID di sessione con un SDK che segue le convenzioni semantiche emergenti OpenTelemetry (OTel) per la Gen AI. L’SDK include supporto testato e verificato per LangChain, l’Anthropic Agents SDK e l’OpenAI Agents SDK. I team possono anche strumentare autonomamente gli agenti AI o utilizzare framework personalizzati, per poi inviare a Observe i trace correttamente strumentati tramite un endpoint OTLP.
• Cercare ed eseguire il debug delle conversazioni nell’Agent Explorer: effettuare ricerche tra trace, sessioni e conversazioni per analizzare come si è comportato un agente AI, quali strumenti ha richiamato e dove è iniziato un errore o una risposta inaspettata.
• Monitorare prestazioni, utilizzo e costi: analizzare le metriche derivate dai trace degli agenti AI, tra cui latenza, errori e costi.
• Eseguire valutazioni online LLM-as-judge sul traffico di produzione: individuare allucinazioni, errori dei guardrail e risposte di scarsa qualità. Collegare i risultati delle valutazioni agli span e ai trace sottostanti, e monitorare la qualità nel tempo.
• Monitorare i risultati delle valutazioni offline: inviare a Observe i risultati dei workflow di sviluppo e test esistenti come trace o metriche per la visualizzazione.
• Eseguire query sulla telemetria in modo programmatico: utilizzare le API per eseguire query su trace, metriche e risultati delle valutazioni online provenienti da agenti AI di terze parti e workflow automatizzati.

Man mano che le organizzazioni implementano più agenti AI ed espandono i loro casi d’uso, la telemetria necessaria per comprendere questi agenti AI cresce rapidamente. Questa crescita è determinata dalla struttura delle interazioni degli agenti AI. Un trace di un agente AI registra la sequenza di passaggi che stanno dietro un’interazione con l’agente AI, tra cui chiamate al modello, retrieval, invocazioni di strumenti, retry e output intermedi: questo significa che i trace degli agenti AI durano più a lungo, contengono span più grandi e generano più span rispetto ai trace applicativi tradizionali.

Questo crea una sfida legata ai dati per molti team. Hanno bisogno di dettagli sufficienti per ricostruire le interazioni importanti, ma conservare una tale quantità di telemetria può aumentare notevolmente i costi di observability. Alcuni team sono già preoccupati che i volumi in crescita li costringano a campionare o scartare i dati, lasciando vuoti nelle analisi.

Observe è progettato per dati di eventi complessi e ad alto volume, fornendo ad Agent Observability l’architettura necessaria per conservare ed eseguire query sulla telemetria degli agenti AI ad alta fedeltà.

Con Observe, i team sono in grado di:

• Mantenere completi i trace e le conversazioni di lunga durata: Observe estende alle interazioni degli agenti AI l’approccio basato sugli eventi utilizzato nel suo prodotto Application Performance Monitoring, memorizzando gli span come eventi ed eseguendo query su di essi tramite ID trace e ID conversazione, in modo che gli span in ritardo e i lunghi intervalli restino parte dell’interazione completa.
• Eseguire query su span di grandi dimensioni e arricchiti di contesto: Il supporto nativo di Snowflake per dati di eventi complessi e semi-strutturati rende Observe particolarmente adatto a memorizzare ed eseguire query su prompt, risposte del modello, contesto recuperato, input e output degli strumenti, senza perdere dettagli importanti.
• Conservare in modo efficiente in termini di costi i volumi crescenti di telemetria: il cloud object storage è progettato per offrire un modo più economico di archiviare la telemetria dettagliata degli agenti AI, mentre la Telemetry Lakehouse Foundation di Observe separa lo storage dal compute, consentendo ai team di conservare più dati e scalare la capacità di elaborazione in modo indipendente per ricerca, analisi e debug.

Quando un agente AI produce un risultato scadente, la risposta finale racconta raramente tutta la storia. Gli ingegneri devono comprendere il contesto ricevuto dall’agente AI, la sequenza di chiamate al modello, retrieval, invocazioni di strumenti e retry eseguiti, gli output intermedi prodotti a ogni passaggio e il punto in cui il workflow ha iniziato a divergere dal risultato previsto.

I clienti ci dicono che queste informazioni sono spesso frammentate tra l’app, il framework dell’agente AI, il provider del modello e i servizi di supporto. Alcuni team perdono visibilità non appena una richiesta esce dal loro ambiente, trasformando le segnalazioni degli utenti su latenza, errori o comportamenti inaspettati in analisi che possono richiedere ore o giorni. Hanno bisogno di un modo per tracciare ed eseguire il debug del workflow end‑to‑end dell’agente AI in un unico posto.

Observe è progettato per catturare il contesto alla base di queste interazioni e lo organizza in viste specifiche per gli agenti AI, che abbracciano conversazioni, sessioni, trace e singoli span. Con l’Agent Explorer, i team possono effettuare ricerche tra le interazioni degli agenti AI utilizzando gli attributi acquisiti, per poi passare da una conversazione ai trace sottostanti. Possono analizzare prompt, completion, contesto recuperato, attività degli strumenti e retry per identificare dove è iniziato un errore o una risposta inaspettata.

Una risposta ritardata o errata può avere origine all’interno del workflow dell’agente AI, come durante l’elaborazione del modello, il retrieval, l’uso degli strumenti o l’orchestrazione. Può anche derivare da un problema in un’app, un servizio o un componente infrastrutturale di supporto. Il Context Graph di Observe collega la telemetria degli agenti AI con app, servizi, API, database e infrastrutture correlati, aiutando i team a correlare gli span degli agenti AI con le dipendenze upstream e downstream, invece di considerare il workflow dell’agente AI in modo isolato.

L’observability tradizionale può mostrare che una richiesta è stata completata rapidamente e senza errori, ma non può stabilire se la risposta sia stata accurata, pertinente o utile. Per i sistemi non deterministici, la qualità deve diventare un segnale di produzione misurabile.

Observe supporta valutazioni online LLM-as-judge sui trace di produzione, trasformando i risultati in metriche che i team possono monitorare nel tempo. Poiché ogni risultato è collegato all’interazione sottostante, gli ingegneri possono ricondurre i problemi di qualità al prompt, al contesto recuperato, alla selezione degli strumenti, ai servizi di supporto o alla risposta del modello, e valutare se le modifiche migliorano il comportamento in produzione.

I team possono anche inviare a Observe i risultati dei workflow di valutazione offline esistenti come trace o metriche, ottenendo una vista condivisa dei risultati di sviluppo e del comportamento in produzione senza sostituire gli strumenti preferiti.

Nelle conversazioni con i clienti, sentiamo spesso dire che i totali dei token da soli non bastano a stabilire se la spesa per l’AI stia generando valore. I leader vogliono attribuire il consumo a un’app o a un progetto e capire cosa quella spesa ha ottenuto. Questo richiede visibilità sui fattori che influenzano il costo e le prestazioni di un’interazione con un agente AI, tra cui la scelta del modello, la dimensione del prompt, il contesto recuperato, l’uso degli strumenti, i retry e la progettazione del workflow. I team di engineering possono analizzare questi dati per identificare inefficienze come retry non necessari o scelte di modelli costosi che aumentano i costi senza migliorare la qualità. Ad esempio, un workflow di valutazione configurato male può consumare il budget disponibile per l’AI molto più rapidamente del previsto.

Observe estrae dai trace degli agenti AI segnali su latenza, errori, utilizzo dei token e costi stimati, aiutando i team a confrontare agenti AI, modelli e workflow e a identificare percorsi di esecuzione inefficienti. Un modello a costo inferiore potrebbe non essere la scelta migliore se genera più valutazioni fallite, mentre un modello a costo più elevato potrebbe non giustificare la spesa se non offre un miglioramento significativo della qualità.

È qui che la combinazione delle funzionalità di Observe e Snowflake dà il meglio di sé. Observe aiuta i team a trovare il miglior compromesso tra prestazioni, qualità e costi quando si tratta di ottimizzare la spesa per l’AI; Snowflake aggiunge il contesto di business necessario per comprendere l’impatto di queste decisioni. I team possono correlare il comportamento degli agenti AI con la customer experience, i tassi di risoluzione, le conversioni e i ricavi per gli agenti AI orientati al cliente, oppure con il completamento delle attività e la produttività dei dipendenti per le app interne. Questo aiuta le organizzazioni a migliorare gli agenti AI in base ai risultati che generano e a indirizzare gli investimenti in AI verso ciò che crea valore.

Le architetture degli agenti AI si evolvono rapidamente, e l’observability non dovrebbe limitare quali modelli, framework o gateway i team possono utilizzare. I clienti ci dicono che lavorano già con framework personalizzati, prodotti di valutazione specializzati e servizi cloud-native. Hanno bisogno di un modo per ottenere visibilità coerente in questi ambienti, senza essere vincolati a un altro formato di dati proprietario o dover ricostruire la propria strumentazione a ogni cambiamento della loro architettura.

Observe supporta la raccolta nativa OTel tramite un endpoint OTLP, mentre il suo SDK opzionale conforme a OTel offre un modo pratico per catturare e correlare la telemetria degli agenti AI utilizzando le convenzioni semantiche emergenti per la Gen AI. Questo impegno verso gli standard open si estende allo storage tramite Apache Iceberg™. L’esperienza Observe può operare sulla telemetria supportata memorizzata nelle Iceberg Tables, mentre i motori compatibili possono accedere ai medesimi dati tramite un catalogo REST open.

Insieme, OTel e Iceberg aiutano i team a preservare la flessibilità tra strumentazione, storage e motori di query, mantenendo al contempo le funzionalità di analisi e monitoraggio di Observe.

Agent Observability in Observe sarà presto disponibile in private preview. Se il tuo team ha bisogno di analizzare le interazioni degli agenti AI, valutare la qualità in produzione, ottimizzare la spesa per l’AI o conservare la telemetria degli agenti AI su larga scala, contattaci.

• Iscriviti al nostro evento di lancio di Agent Observability del 22 ottobre, con gli interventi di Jeremy Burton, General Manager of Observability at Snowflake, e Christian Kleinerman, Executive Vice President of Product at Snowflake
• Contatta il tuo account team Observe per richiedere l’accesso alla private preview

Questo articolo contiene dichiarazioni previsionali, anche relative alle nostre future offerte di prodotto, e non costituisce un impegno a fornire alcuna offerta di prodotto. I risultati e le offerte effettivi potrebbero differire e sono soggetti a rischi e incertezze noti e non noti. Per maggiori informazioni, consulta il nostro ultimo modulo 10-Q.

Apache®, Apache Iceberg™ e i marchi correlati sono marchi registrati o marchi commerciali della Apache Software Foundation negli Stati Uniti e/o in altri Paesi.