Simplification de l’analyse multimodale des données avec Snowflake Cortex AI
Snowflake Cortex AI dispose désormais de fonctionnalités natives d’IA multimodale, éliminant ainsi les silos de données et le besoin d’outils séparés et coûteux. Découvrez Cortex AI COMPLETE Multimodal, actuellement en public preview. Grâce à cette amélioration majeure, nous pouvons analyser des images et d’autres données non structurées directement dans le moteur de requête de Snowflake, avec un SQL classique à grande échelle. Unifiez vos données structurées et non structurées plus efficacement et avec moins de complexité. Point important, cela fonctionne de manière fluide pour les données Snowflake, les Iceberg Tables et le stockage d’objets comme Amazon S3, le tout sans déplacer vos données. Tirez parti de la sécurité et de la gouvernance intégrées de Snowflake pour générer des informations plus approfondies et fiables sur tous les types de données d’entreprise.
Combler le fossé des données
Dans le paysage actuel fondé sur les données, les entreprises peuvent obtenir un avantage concurrentiel significatif en unifiant facilement les informations provenant de sources non structurées (telles que du texte, des images, de l’audio et de la vidéo) avec des données structurées. Avec Cortex AI COMPLETE Multimodal, ces tâches complexes deviennent simples, en utilisant seulement quelques lignes de SQL, ce qui réduit le coût d’analyse des données. Par exemple, les équipes peuvent améliorer les modèles prédictifs en incluant du texte et des images, corréler l’imagerie médicale aux résultats des traitements ou identifier les défauts de fabrication à partir de photos de la ligne de production.
Traitez toutes vos données là où elles se trouvent déjà
Les environnements de données fragmentés et les architectures cloud complexes entravent l’efficacité et l’innovation. Face à ce problème, Cortex AI COMPLETE Multimodal, actuellement en public preview, offre aux entreprises une solution pour traiter directement les fichiers images au sein d’une plateforme unique et sécurisée unifiée, facilitant ainsi la gestion et la mise à l’échelle. La plateforme gérée de Cortex AI regroupe automatiquement par batch avec un débit élevé les données non structurées stockées dans un fournisseur d’objets cloud externe tel qu’un bucket Amazon S3 ou dans Snowflake, éliminant ainsi la nécessité d’investir des cycles dans la création de solutions qui orchestrent les tâches entre les différents services cloud. Cela accélère les informations visuelles sur les données et leur intégration aux données structurées, améliorant ainsi la vitesse et l’agilité des collaborateurs chargés des données techniques. Cette architecture simplifiée ainsi obtenue réduit la complexité, accélère le délai d’analyse et réduit le coût total de possession.
Analyse multimodale : voir le tableau complet
Les data scientists utilisent souvent des modèles prédictifs basés sur des données structurées. Cependant, en s’appuyant uniquement sur des données structurées pour ces modèles, on peut ignorer les signaux précieux présents dans les sources non structurées comme les images, qui influencent l’engagement des utilisateurs. Au lieu de gérer des systèmes séparés pour le traitement des données structurées et des images, les data analysts et les data scientists peuvent désormais travailler dans l’environnement familier de Snowflake, en utilisant un SQL simple pour explorer les corrélations entre les indicateurs traditionnels et l’intelligence visuelle.
Voici comment les analystes peuvent utiliser SQL pour analyser des éléments visuels dans les publicités créatives et révéler des schémas cachés dans les performances des campagnes. En extrayant des fonctionnalités visuelles, vos équipes techniques peuvent découvrir des relations avec l’engagement sur les réseaux sociaux et les taux de conversion des utilisateurs.
SELECT
c.ad_id,
c.conversion_rate,
snowflake.cortex.complete('claude-3-5-sonnet','Classify the prominent color visible in this image. Respond with the name of the color and nothing else', adimages) as prominent_color ,
snowflake.cortex.complete('claude-3-5-sonnet','Are there human faces identified in the Image? Respond only with TRUE or FALSE and nothing else', adimages) as human_face_flag
FROM campaign_table c join image_table i on c.ad_id i.ad_idC’est là que l’analyse multimodale libère son véritable potentiel en combinant les données structurées traditionnelles avec ces informations visuelles riches, créant ainsi une compréhension plus complète. D’autres exemples incluent les retailers qui intègrent des métadonnées de photos de produits à l’historique des transactions pour obtenir des informations plus approfondies sur la façon dont les visuels influencent les décisions d’achat. Que vous soyez dans le secteur du retail, de l'industrie, de la santé ou de la finance, vous pouvez exploiter ces fonctionnalités pour obtenir des informations plus approfondies et créer des expériences clients plus significatives qui favorisent la croissance de votre entreprise.
Transformer les secteurs grâce à l’analyse multimodale alimentée par l’IA
La grande quantité de données non structurées au sein de votre entreprise recèle une valeur inexploitée. Cortex AI Functions libère cette valeur grâce à un langage SQL simple combinant des analyses de données structurées et non structurées.
Pour optimiser les campagnes marketing : les équipes marketing utilisent Cortex AI pour transformer les performances de leurs campagnes en connectant les éléments visuels des ressources promotionnelles directement aux indicateurs de conversion. Par exemple, une entreprise de retail qui utilise Snowflake peut analyser des milliers d’images publicitaires pour découvrir que les images de produits avec certaines palettes de couleurs ont tendance à générer un engagement plus fort parmi des segments démographiques spécifiques.
Pour simplifier les processus manuels : les retailers en ligne et les plateformes de livraison de nourriture utilisent Cortex AI pour automatiser les descriptions d’images de leurs plats et de vos courses, ce qui réduit les efforts manuels. Dans l’industrie, les installations sont en mesure de prévenir les défauts coûteux en associant les données d’inspection visuelle aux spécifications de production. Les organisations de santé peuvent améliorer les résultats pour les patients en corrélant les métadonnées d'imagerie avec les protocoles de traitement et les données démographiques.
Amélioration du service client : les services clients utilisent des modèles de conversion de la parole en texte pour retranscrire les appels et obtenir un niveau d’information plus approfondi. Par exemple, les fonctionnalités de Cortex peuvent être utilisées pour extraire non seulement les détails des clients et les interactions avec les agents, mais aussi dresser des résumés des prochaines étapes, de l’intention et des opinions, offrant ainsi une vue plus complète de l’expérience client.
Analyser des documents complexes : Cortex AI permet aux sociétés financières d’analyser des rapports trimestriels, des prospectus et des états financiers en extrayant des données structurées à partir de textes, de tableaux et de descriptions de graphiques. Par exemple, une banque mondiale peut accélérer son processus de demande de prêt en extrayant et en validant les informations clés des déclarations de revenus, des relevés bancaires et des documents de vérification d’emploi, le tout dans un environnement sécurisé et fiable.
Obtenir des résultats de haute qualité
La qualité est primordiale lorsque les décisions stratégiques dépendent de l’analyse. Cortex AI offre une qualité exceptionnelle pour un large éventail de tâches de traitement de données non structurées grâce à des modèles et des fonctions spécialisées adaptés à différentes tâches.
Modèles de vision à la pointe du secteur : Cortex AI fournit un accès instantané et sécurisé à des modèles de vision à la pointe du secteur, vous permettant de sélectionner le modèle le plus adapté à vos exigences spécifiques. Grâce à la fonction Cortex AI COMPLETE, vous avez le choix entre différentes options, comme Claude 3.5 Sonnet d’Anthropic, Pixtral Large de Mistral AI et le futur Claude 3.7 Sonnet d’Anthropic, ainsi que Llama 4 Scout de Meta et GPT-4.1 d’Open AI pour une analyse visuelle complète.
Claude 3.5 Sonnet excelle dans la compréhension de documents avec un score impressionnant de 90,3 % sur la référence DocVQA. Il s’agit donc d’un choix optimal pour l’extraction d’informations à partir d’états financiers, de contrats juridiques et de documentation de conformité. Pixtral Large se distingue par son analyse graphique (88,1 % ChartQA) et son raisonnement mathématique exceptionnels (69,4 % Mathvista), parfaits pour les rapports financiers et les mesures de spécifications industrielles. GPT-4.1 (bientôt disponible) offre des benchmarks de pointe de compréhension d’images, tels que MMMU (74,8 %), pour divers besoins d’imagerie d’entreprise, comme des réponses visuelles à des questions à partir de diagrammes et de cartes. Tous ces modèles fonctionnent directement dans l’environnement Snowflake et aucune intégration externe complexe n’est requise.
Transcription audio flexible : outre les capacités multimodales natives de Cortex AI, nos clients peuvent intégrer n’importe quelle modalité, y compris le traitement audio, à Snowflake en utilisant Snowpark Container Services. Snowpark Container Services offre une infrastructure gérée pour les applications conteneurisées qui permet aux développeurs de déployer des modèles de transcription audio à grande échelle.
En utilisant Snowpark Container Services, vous avez la possibilité de déployer et d’optimiser des modèles tels qu’OpenAI Whisper, Nvidia Canary ou Nvidia Parakeet sur Snowflake en fonction de vos besoins spécifiques. Les clients choisissent souvent leur modèle préféré en fonction du Word Error Rate (WER) mais aussi en fonction des fonctionnalités individuelles du modèle comme le support multilingue, les performances dans des environnements difficiles comme les centres d’appel ou l’efficacité des ressources. L’environnement sécurisé et efficace de Snowflake vous permet d’exécuter le modèle de votre choix, offrant une excellente combinaison de flexibilité, de puissance et de fiabilité.
Analyse fine des opinions sur les entités : au-delà du traitement audio, Cortex AI offre des capacités d’analyse de texte sophistiquées permettant d’extraire des informations de diverses sources textuelles. Qu’il s’agisse d’analyser des conversations clients transcrites, des publications sur les réseaux sociaux, des avis sur les produits ou d’autres données textuelles, notre analyse des opinions sur les entités permet une compréhension nuancée des opinions exprimées.
L’analyse des opinions basée sur les aspects de Snowflake établit une nouvelle norme de qualité dans le secteur, en fournissant une classification des opinions supérieure à celle des meilleurs LLM selon le benchmark ci-dessous. Plus précisément, Cortex AI Entity_Sentiment permet d’extraire des informations nuancées de textes en analysant les opinions vis-à-vis d’entités spécifiques, au lieu de se contenter d’une classification globale positive ou négative. Cortex AI Entity Sentiment est jusqu’à 45 % plus rentable qu’un grand modèle comme GPT-4o pour une précision des opinions bien supérieure. Entity_Sentiment gère efficacement les expressions d’opinions complexes, y compris les opinions mitigées et inconnues, facilitant ainsi l’analyse de l’émotion relative dans les avis de produits ou les transcriptions d’appels.
Traitement avancé des documents avec OCR : au-delà de l’analyse du texte provenant de sources numériques, les entreprises doivent également extraire de précieuses informations enfermées dans des documents de divers formats. Les capacités de traitement de documents de Cortex AI permettent de convertir des documents non structurés en données consultables et analysables. La précision de vos systèmes de recherche et de vos analyses multimodales repose sur une extraction de texte fiable, indispensable pour un traitement précis des documents.
Les fonctionnalités d’OCR PARSE_DOCUMENT de Cortex AI dépassent les solutions commerciales et open source populaires pour les documents d’entreprise, sans complexité superflue. Les clients peuvent facilement intégrer les résultats OCR dans les applications, comme les réponses par des LLM aux questions sur des documents financiers. La solution de Snowflake offre des résultats nettement meilleurs, atteignant un indicateur ANLS de 0,974 contre 0,969 pour les solutions concurrentes.
La meilleure traduction automatique : pour tous les textes numériques et extraits de documents, les entreprises doivent souvent rendre les informations accessibles dans toutes les langues. Cortex AI Translate offre des traductions homogènes et de haute qualité dans 14 langues différentes. Contrairement aux LLM à usage général, qui peuvent introduire des commentaires ou refuser des demandes de traduction, Cortex AI Translate est spécifiquement optimisé pour les tâches de traduction grâce à un processus rigoureux de préparation des données et à un entraînement personnalisé des modèles. Les performances s’alignent sur les systèmes commerciaux populaires et les LLM de pointe tels que GPT-4o sur les références du secteur. Cortex AI Translate est aussi jusqu’à 51 % plus rentable qu’un grand modèle tel que GPT-4o, ou jusqu’à 70 % plus rentable qu’un système commercial populaire. En outre, Cortex AI Translate gère efficacement le texte bruyant, le mélange de code et le contexte étendu avec cohérence.
L’avenir de l’analyse de données unifiée
Snowflake Cortex AI améliore la façon dont les entreprises extraient la valeur de toutes les données. Il intègre nativement des analyses structurées et non structurées via Cortex AI COMPLETE Multimodal, le tout dans Snowflake en SQL. Cela réduit la complexité et accélère le délai d’analyse. Grâce à l’IA native et à une gouvernance fiable, les entreprises comprennent mieux toutes leurs données. Cette approche unifiée permet de prendre des décisions plus rapides et plus efficaces. L’équipe AI Research de Snowflake simplifie la valeur de l’IA pour les entreprises grâce à des innovations telles que Cortex AI COMPLETE Multimodal et à de puissantes fonctions spécifiques aux tâches optimisées pour une qualité de pointe.
Explorez Snowflake Cortex AI COMPLETE Multimodal dès aujourd’hui.
Premiers pas :
Déclarations prévisionnelles
Cet article contient des déclarations prévisionnelles, notamment de futures offres de produits. Il ne constitue en aucun cas un engagement à fournir des offres de produits. Les offres et résultats réels peuvent varier et faire l’objet de risques connus et inconnus, ainsi que d’incertitudes. Découvrez notre dernier 10‑Q pour en savoir plus.
Auteurs
