Creare fiducia nell’enterprise AI con l’AI Observability e le valutazioni in Snowflake Cortex AI
L’ampia integrazione di large language model (LLM) e AI generativa nei processi aziendali mission-critical ha reso necessaria una solida osservabilità dell’AI per risolvere l’intrinseca natura di “black box” e non deterministica di questi sistemi e applicazioni.
La vera opportunità per i team che sfruttano piattaforme come Snowflake Cortex AI consiste nel trasformare i prototipi di AI generativa in applicazioni pronte per la produzione affidabili, efficienti e affidabili.
Il processo di selezione dei giusti LLM e prompt di perferzionamento richiede:
Sperimentazione e valutazione costanti per risposte più accurate
Test sistematici e mitigazione di varie modalità di errore
Monitoraggio e ottimizzazione simultanei per metriche operative cruciali come latenza della risposta e utilizzo dei token.
Senza una soluzione integrata per valutare, debuggare e monitorare continuamente questi fattori direttamente nel proprio ambiente dati AI, le organizzazioni non possono implementare con sicurezza soluzioni di AI generativa efficaci ed efficienti.
Che cos’è l’AI Observability?
L’AI Observability consente agli sviluppatori di monitorare, analizzare e visualizzare gli stati interni, gli input e gli output delle applicazioni Gen AI, aumentando l’accuratezza, l’affidabilità, l’efficienza e la conformità alle normative in ambienti reali. L’osservabilità dell’AI copre tutte le fasi di sviluppo delle applicazioni, compresi lo sviluppo, il test e la produzione, e si fonda su tre pilastri chiave.
Tracciamento: Man mano che gli sviluppatori creano e personalizzano le proprie applicazioni, il tracciamento consente di visualizzare gli input, gli output e gli stati intermedi dell’applicazione. Questo fornisce informazioni granulari su ogni componente all’interno dell’applicazione per consentire un debug e una explainability migliori del comportamento dell’applicazione.
Valutazioni: Una volta pronta la versione iniziale dell’applicazione, gli sviluppatori conducono valutazioni sistematiche per valutare le prestazioni dell’applicazione e migliorare in modo proattivo l’accuratezza della risposta. In questo modo possono testare e confrontare diversi modelli e prompt e finalizzare la configurazione per le distribuzioni dei prodotti.
Monitoraggio: Una volta che l’applicazione viene distribuita in produzione, gli sviluppatori devono monitorare costantemente le prestazioni dell’applicazione per garantire l’affidabilità operativa ed evitare derive delle prestazioni. Il monitoraggio continuo consente inoltre di ottimizzare l’applicazione eliminando i punti deboli e assecondando la deriva dei dati.
Osservabilità dell’AI in Snowflake Cortex
Snowflake supporta una serie completa di funzionalità di AI Observability che consentono agli sviluppatori di valutare e monitorare in modo efficace le proprie app Gen AI. L’osservabilità dell’AI può essere abilitata su tutte le app Gen AI personalizzate e sui servizi Gen AI nativi Snowflake.
AI Observability per le app Gen AI personalizzate
L’osservabilità dell’AI per le app Gen AI personalizzate è ora disponibile per tutti i clienti, offrendo a ingegneri e sviluppatori la possibilità di valutare e tracciare senza sforzo le proprie applicazioni Gen AI. Grazie all’AI Observability, gli utenti possono misurare le prestazioni delle proprie applicazioni AI conducendo valutazioni sistematiche e possono iterare sulle configurazioni delle applicazioni per migliorarne le prestazioni. Inoltre, consente il logging delle applicazioni per facilitare il debug. Questa funzionalità aumenta la fiducia e la trasparenza delle applicazioni e degli agenti Gen AI, consentendo un benchmarking completo e una misurazione delle prestazioni prima della distribuzione delle applicazioni.
Valutazione end-to-end: L’AI Observability è in grado di valutare le prestazioni di agenti e app, utilizzando tecniche come LLM-as-a-judge. Può segnalare metriche come pertinenza, fondatezza e nocività, offrendo ai clienti la possibilità di iterare e perfezionare rapidamente l’agente per migliorare le prestazioni.
Confronto: Gli utenti possono confrontare le valutazioni eseguite parallelamente e valutare la qualità e l’accuratezza delle risposte nelle diverse configurazioni LLM per identificare la configurazione migliore per le distribuzioni in produzione.
Tracciabilità completa: I clienti possono abilitare la registrazione per ogni fase dell’esecuzione degli agenti tra prompt di input, utilizzo degli strumenti e generazione della risposta finale grazie alle tracce OpenTelemetry. Questo consente un facile debug e perfezionamento per accuratezza, latenza e costi.
Osservabilità dell’AI in tutti i servizi Cortex AI
Snowflake Intelligence e Cortex Agents
Snowflake Intelligence fornisce insight generati dall’AI utilizzando il linguaggio naturale di cui gli utenti possono fidarsi offrendo explainability e trasparenza verificabili. Questa nuova esperienza agentica, accessibile tramite un portale dedicato, consente a tutti gli utenti di conversare in modo sicuro con i propri dati, ricavare insight significativi dai propri dati aziendali affidabili e avviare le azioni da un’interfaccia unificata e intuitiva.
Grazie all’osservabilità nativa, gli utenti di Snowflake Intelligence possono facilmente capire il “perché” dietro ogni risposta generata dall’agente, monitorare se i dati provengono da fonti verificate o query curate e tracciare il data lineage. Gli amministratori ottengono visibilità sulle domande e sui punteggi di pertinenza delle risposte, consentendo il miglioramento continuo e il fine-tuning del sistema in tutto il controllo centralizzato.
Inoltre, per gli agenti creati utilizzando Cortex Agents, gli ingegneri avranno presto la capacità di valutare, tracciare e monitorare senza sforzo i propri agenti con funzionalità di osservabilità native.
L’osservabilità degli agenti consentirà agli sviluppatori di tracciare le interazioni degli agenti in tempo reale, ottenendo una migliore visibilità sulla pianificazione degli agenti, la selezione degli strumenti, l’esecuzione e la generazione della risposta. Gli sviluppatori potranno registrare e monitorare ogni interazione sull’agente per eseguire sistematicamente il debug, migliorare e iterare le prestazioni dell’agente.
Questa osservabilità nativa accelera il ciclo di sviluppo, migliorando l’affidabilità e la trasparenza delle applicazioni e degli agenti Gen AI prima della distribuzione.
Cortex Search
In un agente AI o in un’applicazione che esegue la retrieval-augmented generation (RAG), la qualità dell’output finale dipende fondamentalmente dalla precisione del retrieval iniziale.
Per misurare e migliorare continuamente la qualità del retrieval, Cortex Search ora fornisce una suite nativa di strumenti di valutazione e tuning. Ora gli utenti hanno accesso a una UI di valutazione dedicata che consente di:
Creare set di valutazione di alta qualità
Sperimenta
Ottimizza automaticamente i parametri di ricerca per ottimizzare le prestazioni per il caso d’uso aziendale specifico
Questa interfaccia utente sfrutta gli LLM per accelerare il processo di valutazione delle ricerche, anche per la generazione di query e il giudizio di pertinenza.
Utilizzando l’interfaccia utente di valutazione, gli utenti possono eseguire e confrontare rapidamente gli esperimenti per misurare la qualità di recupero con data set etichettati con esseri umani e LLM, garantendo che le app di ricerca e chat degli utenti a valle ricevano il contesto più pertinente per le loro query.
Cortex Analyst
Cortex Analyst traduce i prompt in linguaggio naturale in query SQL precise, consentendo agli utenti di estrarre insight critici da data set complessi.
Per contribuire a garantire il miglioramento e l’accuratezza continui, amministratori e ingegneri hanno accesso ai log storici di tutte le interazioni passate. Analizzando questi log, gli ingegneri possono apportare correzioni informate al modello semantico sottostante, affinandone la capacità di generare risposte altamente accurate.
Per misurare quantitativamente le prestazioni, Cortex Analyst ha reso open source un tool Streamlit che utilizza un "LLM-as-a-judge". Ciò comporta il confronto delle risposte del modello con un “golden set” di coppie richiesta-risposta ideali, che calcola una percentuale aggregata di correttezza e fornisce un benchmark per l'accuratezza del modello.
Document AI
L’osservabilità in Document AI si ottiene attraverso Attention Spans per l’explainability e Confidence Scores per l’affidabilità.
Gli Attention Spans forniscono un metodo diretto per convalidare l’output estratto dai documenti. Questa funzionalità migliora l’explainability utilizzando un LLM secondario per presentare le evidenze specifiche del testo sorgente a supporto di ciascun risultato. Questo è particolarmente utile durante le fasi di pre-produzione, come l’inferenza e l’addestramento, poiché consente la convalida continua della qualità dell’output per confermare che soddisfa le aspettative.
Inoltre, il sistema genera Confidence Scores integrati per ogni valore estratto. Questi punteggi sono calcolati tramite un algoritmo che aggrega le singole probabilità di ogni token di parola nella risposta. Anche se un punteggio elevato non garantisce una risposta corretta, aumenta significativamente la probabilità di accuratezza. Questo è uno strumento potente per l’AI responsabile, che consente ai flussi di lavoro di filtrare o contrassegnare automaticamente le risposte con punteggi bassi. Il monitoraggio costante di questi punteggi garantisce il rilevamento e la risoluzione tempestivi di eventuali deterioramenti delle prestazioni del modello nel tempo.
Crea fiducia nella tua AI con l’osservabilità in Snowflake Cortex AI
Il percorso dai prototipi di AI generativa alle applicazioni affidabili pronte per la produzione dipende dalla fiducia e dalla trasparenza. Snowflake Cortex AI fornisce il toolkit essenziale di AI Observability e valutazioni per rendere questa transizione trasparente, consentendo agli sviluppatori di andare oltre la natura di “scatola nera” dei sistemi AI.
Integrando l’osservabilità nel ciclo di vita dello sviluppo dell’AI, gli sviluppatori possono continuamente convalidare, debuggare e perfezionare il proprio lavoro, garantendo che le soluzioni AI non siano solo efficaci ed efficienti, ma anche pienamente spiegabili e affidabili.
Infine, Snowflake Cortex AI consente di creare applicazioni Gen AI non solo potenti, ma anche trasparenti e degne della fiducia di un’azienda.
Altre risorse:
Articolo di
