De nombreuses charges de travail d’IA en entreprise impliquent de prendre des décisions : déterminer la catégorie d’un enregistrement, le niveau de risque d’une transaction ou si le traitement d’un ticket doit être poursuivi. Beaucoup de ces tâches proposent un nombre limité de réponses et sont exécutées à grande échelle sur de vastes tables.
Les LLM généralistes peuvent prendre en charge ces tâches, mais au prix d’un coût et d’une latence parfois disproportionnés. Les modèles décisionnels sont spécialement conçus pour les tâches simples à grand volume qui ne nécessitent pas de raisonnement complexe, comme la classification, la notation, le filtrage et le routage. Ils renvoient une réponse typée, comme une catégorie, un score ou une probabilité oui/non, que votre workflow peut exploiter directement.
Les clients utilisent déjà les Fonctions Cortex AI pour faire évoluer la classification, la notation et le routage des données à grande échelle. Nous lançons aujourd’hui Snowflake Decision (en private preview), un modèle décisionnel disponible via AI_COMPLETE, qui aide les équipes à faire évoluer encore plus efficacement le traitement des tâches simples à grand volume. L’appel s’exécute dans les Fonctions Cortex AI de Snowflake Cortex AI. La gouvernance, les contrôles d’accès et les politiques d’audit déjà en place s’appliquent donc à chaque décision.
Un modèle conçu pour des décisions structurées, précises et efficaces
Imaginez un workflow de support qui traite des milliers, voire des millions de tickets. Avant de parvenir à un agent, chaque ticket doit être attribué à la bonne équipe. Le même message peut également nécessiter une évaluation du niveau de frustration du client et une vérification du degré d’urgence exprimé. Au lieu de multiplier les appels au modèle, un modèle décisionnel peut évaluer ces trois critères simultanément et renvoyer des réponses structurées directement exploitables par votre workflow.
Pour choisir un modèle adapté à ces workflows, la qualité des décisions compte autant que la rapidité, le coût et le format des réponses. C’est pourquoi nous sommes ravis de mettre Snowflake Decision à la disposition de nos clients. Lors de notre évaluation, Snowflake Decision a obtenu le meilleur score de qualité parmi 72 modèles comparés selon les benchmarks Jev Decision Index 0.2.1. Pour les clients, des décisions de meilleure qualité peuvent rendre la classification, la notation et le routage plus fiables dans les workflows à grand volume.
Attention : Nous avons évalué Snowflake Decision sur 29 benchmarks Jev Decision Index 0.2.1 exécutés de bout en bout dans notre interface actuelle, soit 88 837 requêtes de test couvrant le raisonnement, le langage, la recherche d’informations, l’utilisation d’outils et le jugement créatif. Ces 29 benchmarks constituent un sous-ensemble du benchmark Hugging Face global. Les limites actuelles de l’interface, comme le plafond de 32 options, nous empêchent d’exécuter l’intégralité du benchmark. Snowflake Decision a obtenu un score de 57,63, le meilleur score de qualité parmi les 72 modèles évalués sur les mêmes 29 benchmarks. Pour garantir une comparaison à périmètre égal, nous avons calculé le score de chaque modèle à partir des mêmes résultats de benchmark et selon la méthodologie publiée de l’indice, ajustée pour tenir compte du hasard.
Trier les tickets de support avec les Fonctions Cortex AI
Cortex AI Functions intègre les appels de modèles à SQL. Vous appelez le modèle décisionnel via AI_COMPLETE en transmettant votre requête au format JSON dans l’argument prompt. Vous fournissez le texte du ticket et des questions clairement définies, en utilisant trois types de questions pris en charge :
Choix : sélectionnez une option dans une liste définie, par exemple facturation, support technique ou ventes.
Score : évaluez l’entrée selon une échelle ordonnée, par exemple calme, frustré mais courtois, ou très en colère.
Oui ou non (noul) : renvoyez une probabilité comprise entre 0 et 1 pour une affirmation telle que « Le message exprime un caractère urgent. »
Dans cet exemple, chaque ligne de la table support_tickets contient un message client dans la colonne ticket_text . Un seul appel à Snowflake Decision permet de router le ticket, d’évaluer la frustration et de déterminer le degré d’urgence :
SELECT AI_COMPLETE(
model => 'snowflake-decision',
prompt => TO_JSON({
'state': ticket_text,
'questions': {
'department': {
'type': 'choice',
'instructions': 'Which team should handle this',
'criteria': {
'billing': 'Payment or subscription issues',
'technical': 'Bugs or integration problems',
'sales': 'Pricing or account questions'
}
},
'frustration': {
'type': 'score',
'instructions': 'How frustrated the customer appears',
'criteria': ['Calm', 'Frustrated but civil', 'Very angry']
},
'is_urgent': { 'type': 'noul', 'instructions': 'The message conveys urgency' }
}
})
) FROM support_tickets;
Le résultat est renvoyé sous forme de mappage de réponses indexé selon les noms de vos questions. Il inclut la valeur choisie, les probabilités de chaque option et, pour les questions de choix et de score, un indice de confiance.
Response
{
"answers": {
"department": {
"choice": "billing",
"confidence": 0.9305973965815073,
"probabilities": {
"billing": 0.9537315977210048,
"sales": 0.017468203540633418,
"technical": 0.02880019873836161
},
"type": "choice"
},
"frustration": {
"confidence": 0.7082686180607838,
"legend": {
"0": "Calm",
"1": "Frustrated but civil",
"2": "Very angry"
},
"probabilities": {
"0": 0.014753474459327466,
"1": 0.1797341135001498,
"2": 0.8055124120405226
},
"score": 1.790758937581195,
"type": "score"
},
"is_urgent": {
"noul": 0.8807970779778823,
"type": "noul"
}
}
}
Ce que vous pouvez faire avec un modèle décisionnel sur Snowflake
Les Fonctions Cortex AI proposent aujourd’hui aux équipes différents modèles adaptés à diverses tâches. Notre modèle décisionnel élargit cette gamme avec une option supplémentaire, aux côtés des modèles généralistes déjà disponibles. Il est adapté aux décisions à grand volume, avec un nombre limité de réponses, exécutées sur de nombreuses lignes : classification, routage, notation, filtrage et triage.
Quand choisir un modèle décisionnel :
- La réponse appartient à un ensemble d’options connu, correspond à un score sur une échelle ou prend la forme oui/non
- Vous exécutez la décision sur des milliers de lignes
- La rapidité et le coût sont déterminants
- Vous souhaitez obtenir une probabilité à laquelle appliquer un seuil
- Vous souhaitez utiliser un modèle décisionnel pour le routage et la catégorisation lors de la première étape d’un pipeline LLM en plusieurs étapes
Quand privilégier un modèle généraliste :
- Vous avez besoin de résumés, d’un raisonnement ouvert ou d’une extraction en texte libre
- L’espace des réponses est illimité
- La tâche nécessite un raisonnement en plusieurs étapes ou une génération créative
Les équipes envisagent notamment d’utiliser les modèles décisionnels pour les cas suivants :
- Opérations de support : une équipe de support doit attribuer chaque ticket entrant à une file d’attente avant sa prise en charge par un agent. Un seul appel renvoie la file d’attente, un score de frustration et un indicateur d’urgence pour chaque ticket de la table.
- Analyse des avis clients : une équipe produit souhaite identifier les problèmes qui reviennent le plus souvent dans un vaste corpus d’avis. Un seul appel peut renvoyer une catégorie d’avis et un score de gravité. L’équipe peut ainsi agréger facilement les opinions et hiérarchiser les fonctionnalités.
- Contrôles de la qualité des réponses : une équipe qui exploite un assistant d’intelligence artificielle souhaite vérifier si ses réponses respectent une politique définie. Le modèle décisionnel évalue chaque réponse selon cette politique et mesure dans quelle mesure elle répond à la demande du client. Les responsables de la vérification peuvent ainsi se concentrer sur les réponses insuffisantes.
- Création de pipelines de données d’intelligence artificielle : aujourd’hui, certains pipelines envoient chaque requête à un grand modèle. Le modèle décisionnel détermine le niveau de raisonnement requis pour chaque requête. Les clients peuvent ensuite créer un pipeline qui envoie les cas complexes au modèle plus puissant et traite les autres via un parcours plus économique.
Premiers pas
Pour demander un accès, contactez votre équipe de compte Snowflake. Un membre de l’équipe Snowflake vous indiquera les prochaines étapes, notamment pour accéder à la documentation de la private preview.
