Molti carichi di lavoro di enterprise AI sono problemi decisionali: determinare a quale categoria appartiene un record, quanto è rischiosa una transazione e se un ticket debba essere elaborato ulteriormente. Molti di questi task hanno risposte definite e vengono eseguiti ad alti volumi su tabelle di grandi dimensioni.
Gli LLM general-purpose possono gestire questi task, ma potrebbero comportare costi e latenza superiori al necessario. I modelli decisionali sono progettati appositamente per task semplici e ad alto volume che non richiedono ragionamenti complessi che comportano classificazione, scoring, filtraggio o routing. Restituiscono una risposta tipizzata, come una categoria, un punteggio o una probabilità sì/no, su cui il tuo flusso di lavoro può agire direttamente.
I clienti utilizzano già Cortex AI Functions per classificare, assegnare punteggi e instradare i dati su larga scala. Ora presentiamo Snowflake Decision (private preview), un modello decisionale disponibile tramite AI_COMPLETE, che aiuta a scalare in modo ancora più efficiente task semplici e ad alto volume. La chiamata viene eseguita in Snowflake Cortex AI Functions, quindi la governance, i controlli di accesso e le policy di audit già in vigore si applicano a ogni decisione.
Un modello progettato per decisioni strutturate efficienti e accurate
Pensa a un workflow di assistenza che elabora da migliaia a milioni di ticket. Prima che ogni ticket raggiunga un operatore, deve essere assegnato al team giusto. Lo stesso messaggio potrebbe richiedere una valutazione del livello di frustrazione del cliente e una verifica dell'urgenza espressa. Invece di gestirle come chiamate separate, un modello decisionale può valutare tutte e tre le domande insieme, restituendo risposte strutturate che il workflow può utilizzare direttamente.
Nella scelta di un modello per questi workflow, la qualità delle decisioni conta tanto quanto velocità, costo e formato della risposta. Ecco perché siamo entusiasti di mettere Snowflake Decision nelle mani dei clienti. Nella nostra valutazione, Snowflake Decision ha ottenuto il punteggio di qualità più alto tra i 72 modelli confrontati sui benchmark Jev Decision Index 0.2.1. Per i clienti, decisioni di qualità superiore possono significare classificazione, scoring e routing più affidabili nei workflow ad alto volume.
Nota: abbiamo valutato Snowflake Decision su 29 benchmark Jev Decision Index 0.2.1 eseguiti end-to-end all’interno della nostra interfaccia attuale, con 88.837 richieste di test distribuite su reasoning, linguaggio, retrieval, tool use e giudizio creativo. Questi 29 benchmark sono un sottoinsieme del benchmark Hugging Face più ampio; i limiti dell’interfaccia attuale, come un massimo di 32 opzioni, ci impediscono di eseguire il benchmark completo. Snowflake Decision ha ottenuto un punteggio di 57,63, il punteggio di qualità più alto tra i 72 modelli valutati sugli stessi 29 benchmark. Per garantire un confronto omogeneo, abbiamo calcolato il punteggio di ogni modello utilizzando gli stessi risultati dei benchmark e la metodologia pubblicata dall’indice, corretta per il caso.
Gestire il triage dei ticket di supporto con Cortex AI Functions
Cortex AI Functions porta le chiamate ai modelli in SQL. Puoi chiamare il modello decisionale tramite AI_COMPLETE passando la richiesta come JSON nell’argomento prompt. Fornisci il testo del ticket e domande chiaramente definite, utilizzando tre tipi di domande supportati:
Scelta: seleziona un’opzione da un elenco definito, come fatturazione, supporto tecnico o vendite.
Punteggio: valuta l’input in base a una rubrica ordinata, come calmo, frustrato ma rispettoso o molto arrabbiato.
Sì o no (noul): restituisce una probabilità da 0 a 1 per un’affermazione come “Il messaggio comunica urgenza”.
In questo esempio, ogni riga della tabella support_tickets contiene un messaggio del cliente nella colonna ticket_text. Una singola chiamata a Snowflake Decision instrada il ticket, valuta la frustrazione e analizza l’urgenza:
SELECT AI_COMPLETE(
model => 'snowflake-decision',
prompt => TO_JSON({
'state': ticket_text,
'questions': {
'department': {
'type': 'choice',
'instructions': 'Which team should handle this',
'criteria': {
'billing': 'Payment or subscription issues',
'technical': 'Bugs or integration problems',
'sales': 'Pricing or account questions'
}
},
'frustration': {
'type': 'score',
'instructions': 'How frustrated the customer appears',
'criteria': ['Calm', 'Frustrated but civil', 'Very angry']
},
'is_urgent': { 'type': 'noul', 'instructions': 'The message conveys urgency' }
}
})
) FROM support_tickets;
Il risultato viene restituito come mappa di risposte, indicizzata in base ai nomi delle domande, con il valore scelto, le probabilità per ogni opzione e, per le domande di tipo scelta e punteggio, un valore di confidenza.
Response
{
"answers": {
"department": {
"choice": "billing",
"confidence": 0.9305973965815073,
"probabilities": {
"billing": 0.9537315977210048,
"sales": 0.017468203540633418,
"technical": 0.02880019873836161
},
"type": "choice"
},
"frustration": {
"confidence": 0.7082686180607838,
"legend": {
"0": "Calm",
"1": "Frustrated but civil",
"2": "Very angry"
},
"probabilities": {
"0": 0.014753474459327466,
"1": 0.1797341135001498,
"2": 0.8055124120405226
},
"score": 1.790758937581195,
"type": "score"
},
"is_urgent": {
"noul": 0.8807970779778823,
"type": "noul"
}
}
}
Cosa puoi fare con un modello decisionale su Snowflake
Oggi Cortex AI Functions offre ai tuoi team una gamma di opzioni di modelli per diversi task. Il nostro modello decisionale amplia questa selezione aggiungendo un’altra opzione accanto ai modelli general-purpose già disponibili. È adatto a decisioni circoscritte e ad alto volume eseguite su molte righe: classificazione, routing, scoring, filtraggio e triage.
In quali casi scegliere un modello decisionale:
- La risposta è una tra un insieme noto di opzioni, un punteggio su una rubrica o un sì/no
- Devi eseguire la decisione su migliaia di righe
- Velocità e costo sono importanti
- Vuoi una probabilità su cui applicare una soglia
- Vuoi utilizzare un modello decisionale per il routing e la categorizzazione come primo passaggio di una pipeline LLM multistep
In quali casi un modello general-purpose è la scelta migliore:
- Hai bisogno di riepiloghi, reasoning open-ended o estrazione in formato libero
- Lo spazio delle risposte è illimitato
- Il task richiede ragionamento a più fasi o generazione creativa
I modelli decisionali possono essere utili per attività come:
- Operazioni di assistenza: un team di supporto deve assegnare ogni ticket in arrivo a una coda prima che lo prenda in carico un operatore. Una singola chiamata restituisce la coda, un punteggio di frustrazione e un flag di urgenza per ogni ticket della tabella.
- Analisi delle recensioni dei clienti: un team di prodotto vuole sapere quali problemi emergono più frequentemente in un ampio corpus di recensioni. Una singola chiamata può restituire una categoria di recensione e un punteggio di gravità, così il team può aggregare facilmente il sentiment e definire le priorità delle funzionalità.
- Controlli di qualità delle risposte: un team che gestisce un assistente AI vuole sapere se le sue risposte seguono una policy dichiarata. Il modello decisionale valuta ogni risposta in base a quella policy e le assegna un punteggio che indica in che misura soddisfa la richiesta del cliente, così i revisori devono leggere solo le risposte che non sono all’altezza.
- Creazione di pipeline di dati per l’AI: oggi alcune pipeline inviano ogni richiesta a un modello di grandi dimensioni. Il modello decisionale valuta quanto reasoning richiede ciascuna richiesta, e i clienti possono quindi sviluppare una pipeline che indirizza i casi più complessi al modello più grande e mantiene il resto su un percorso più conveniente in termini di costi.
Come iniziare
Per richiedere l’accesso, contatta il tuo account team Snowflake. Ti contatteremo al più presto per fornirti informazioni su come iniziare e la documentazione della private preview.
