KI und ML

Vereinfachung multimodaler Datenanalysen mit Snowflake Cortex AI

Snowflake Cortex AI verfügt jetzt über native multimodale KI-Funktionen, wodurch Datensilos eliminiert werden und separate, teure Tools nicht mehr erforderlich sind. Wir stellen vor: Cortex AI COMPLETE Multimodal, jetzt in Public Preview. Diese wichtige Erweiterung ermöglicht die Analyse von Bildern und anderen unstrukturierten Daten direkt in die Abfrage-Engine von Snowflake mit vertrautem SQL. Führen Sie Ihre strukturierten und unstrukturierten Daten effizienter und mit weniger Komplexität zusammen. Das Wichtigste dabei ist, dass dies nahtlos zwischen Snowflake-Daten, Iceberg-Tabellen und Objektspeichern wie Amazon S3 funktioniert – und zwar ohne Ihre Daten zu verschieben. Nutzen Sie die integrierten Sicherheits- und Governance-Funktionen von Snowflake, um tiefere, vertrauenswürdige Einblicke für alle Arten von Unternehmensdaten zu gewinnen. 

Die Datenlücke schließen

In der datengestützten Landschaft von heute können sich Unternehmen einen erheblichen Wettbewerbsvorteil verschaffen, indem sie Erkenntnisse aus unstrukturierten Quellen wie Text, Bild, Audio und Video mühelos mit strukturierten Daten kombinieren. Mit Cortex AI COMPLETE Multimodal werden diese komplexen Aufgaben mit nur wenigen Zeilen SQL einfach und die Kosten für die Datenanalyse sinken. So können Teams beispielsweise prädiktive Modelle verbessern, indem sie Text und Bilder einbeziehen, medizinische Bildgebung mit Behandlungsergebnissen korrelieren oder Fertigungsmängel anhand von Produktionslinienfotos erkennen.

Verarbeiten Sie all Ihre Daten dort, wo sie sich bereits befinden

Fragmentierte Datenumgebungen und komplexe Cloudarchitekturen behindern Effizienz und Innovation. Deshalb bietet Cortex AI COMPLETE Multimodal, jetzt in Public Preview, Unternehmen eine Lösung zur direkten Verarbeitung von Bilddateien auf einer einzigen, sicheren, einheitlichen Plattform, die die Verwaltung und Skalierung erleichtert. Die verwaltete Plattform von Cortex AI bietet automatisch Batches und einen hohen Durchsatz für unstrukturierte Daten, die in einem externen Cloud-Objektanbieter wie einem Amazon S3 Bucket oder in Snowflake gespeichert sind. Dadurch müssen keine Zyklen in den Aufbau von Lösungen investiert werden, die Jobs zwischen verschiedenen Cloud-Diensten orchestrieren. Das beschleunigt Einblicke in visuelle Daten und deren Integration mit strukturierten Daten und verbessert die Geschwindigkeit und Agilität technischer Data Worker. Diese optimierte Architektur reduziert die Komplexität, beschleunigt die Erkenntnisgewinnung und senkt die Gesamtbetriebskosten.

Fig. 1: Multimodal analysis architecture comparison
Fig. 1: Multimodal analysis architecture comparison

Multimodale Analyse: Ganzheitlicher Überblick

Data Scientists nutzen oft prädiktive Modelle, die auf strukturierten Daten basieren. Indem diese Modelle nur auf strukturierten Daten basieren, können jedoch wertvolle Signale übersehen werden, die in unstrukturierten Quellen wie Bildern vorhanden sind und die Interaktionen der Benutzer:innen beeinflussen. Anstatt separate Systeme für strukturierte Daten und Bildverarbeitung zu unterhalten, können Datenanalyst:innen und Data Scientists nun in der vertrauten Snowflake-Umgebung arbeiten und mit einfachem SQL Korrelationen zwischen herkömmlichen Kennzahlen und visueller Intelligenz untersuchen. 

Im Folgenden erfahren Sie, wie Analyst:innen mit SQL visuelle Elemente in Werbematerialien analysieren und verborgene Muster in der Kampagnenperformance aufdecken können. Durch Extrahieren visueller Funktionen können Ihre technischen Teams Beziehungen zu Social-Media-Engagement und Nutzerkonversionsraten aufdecken. 

SELECT 

c.ad_id, 
c.conversion_rate,
snowflake.cortex.complete('claude-3-5-sonnet','Classify the prominent color visible in this image. Respond with the name of the color and nothing else', adimages) as prominent_color ,

snowflake.cortex.complete('claude-3-5-sonnet','Are there human faces identified in the Image? Respond only with TRUE or FALSE and nothing else', adimages) as human_face_flag

FROM campaign_table c join image_table i on c.ad_id i.ad_id

Hier setzt die multimodale Analyse ihr wahres Potenzial frei, indem sie traditionelle strukturierte Daten mit diesen umfassenden visuellen Einblicken kombiniert und so ein umfassenderes Geschäftsverständnis schafft. Andere Beispiele sind Handelsunternehmen, die Produktfotometadaten mit Transaktionshistorien integrieren, um tiefere Erkenntnisse darüber zu gewinnen, wie visuelle Daten Kaufentscheidungen beeinflussen. Unabhängig davon, ob Sie im Handel, in der Fertigung, im Gesundheitswesen oder im Finanzbereich tätig sind, können Sie diese Funktionen nutzen, um tiefere Einblicke zu gewinnen und bedeutendere Kundenerfahrungen zu schaffen, die das Geschäftswachstum fördern.

Transformation von Branchen mit KI-gestützter Multimodalanalyse

Die riesigen Mengen unstrukturierter Daten-Assets in Ihrem Unternehmen bergen ungenutzten unternehmerischen Mehrwert. Cortex AI Functions ermöglicht diesen Wert durch einfaches SQL, das die Analyse strukturierter und unstrukturierter Daten kombiniert.

  • Optimierung von Marketingkampagnen: Marketingteams nutzen Cortex AI, um ihre Kampagnen-Performance zu transformieren, indem sie visuelle Elemente in Werbe-Assets direkt mit Konversionskennzahlen verbinden. Ein Handelsunternehmen, das Snowflake einsetzt, kann beispielsweise Tausende von Werbebildern analysieren, um festzustellen, dass Produktbilder mit bestimmten Farbschemata in der Regel eine höhere Interaktion bei bestimmten demografischen Segmenten erzeugen. 

  • Optimierung manueller Prozesse: Onlinehändler und Plattformen für Lebensmittellieferungen nutzen Cortex AI, um Bildbeschreibungen für Mahlzeiten und Lebensmittel zu automatisieren und so den manuellen Aufwand zu reduzieren. In der Fertigung können Anlagen kostspielige Mängel verhindern, indem sie visuelle Prüfdaten mit Produktionsspezifikationen verknüpfen. Organisationen im Gesundheitswesen können die Behandlungsergebnisse der Patient:innen verbessern, indem sie Bildmetadaten mit Behandlungsprotokollen und demografischen Daten korrelieren.

  • Verbesserung des Kundenservice:  Kundenserviceabteilungen nutzen Sprach-zu-Text-Modelle, um Anrufe zu transkribieren und tiefere Einblicke zu gewinnen. Cortex-Funktionen können beispielsweise nicht nur Kundendetails und Interaktionen mit Mitarbeitenden extrahieren, sondern auch die nächsten Schritte, Absichten und Stimmungen zusammenfassen und so ein umfassenderes Bild der Kundenerfahrung liefern. 

  • Analyse komplexer Dokumente: Cortex AI ermöglicht es Finanzunternehmen, Quartalsberichte, Prospekte und Jahresabschlüsse zu analysieren, indem sie strukturierte Daten aus Text, Tabellen und Diagrammbeschreibungen extrahieren. Eine globale Bank kann beispielsweise ihren Kreditantragsprozess beschleunigen, indem sie wichtige Informationen aus Steuererklärungen, Kontoauszügen und Beschäftigungsnachweisdokumenten extrahiert und validiert, und zwar in einer sicheren und vertrauenswürdigen Umgebung.  

AI ad evaluation

Hochwertige Ergebnisse

Qualität ist von größter Bedeutung, wenn Geschäftsentscheidungen von Analytics abhängen. Cortex AI bietet hervorragende Qualität in einer Vielzahl von Aufgaben zur Verarbeitung unstrukturierter Daten durch Modelle und spezialisierte Funktionen, die auf verschiedene Aufgaben zugeschnitten sind. 

Branchenführende Vision-Modelle: Cortex AI bietet sofortigen und sicheren Zugriff auf branchenführende Vision-Modelle, sodass Sie das Modell auswählen können, das Ihren spezifischen Geschäftsanforderungen am besten entspricht. Mit der Cortex AI COMPLETE-Funktion können Sie zwischen Optionen wie Anthropics Claude 3.5 Sonnet, Mistral AIs Pixtral Large und dem zukünftigen Anthropic Claude 3.7 Sonnet sowie Metas Llama 4 Scout und Open AIs GPT-4.1 für umfassende visuelle Analysen wählen. 

Fig. 2: Multimodal queries using SQL
Fig. 2: Multimodal queries using SQL

Claude 3.5 Sonnet glänzt im Dokumentenverständnis mit beeindruckenden 90,3 % im DocVQA-Benchmark und ist damit eine optimale Wahl für die Extrahierung von Informationen aus Jahresabschlüssen, Rechtsverträgen und Compliance-Dokumentationen.  Pixtral Large zeichnet sich durch hervorragende Diagrammanalysen (88,1 % ChartQA) und mathematisches Denken (69,4 % Mathvista) aus, perfekt für Finanzberichte und Messungen von Fertigungsspezifikationen. GPT-4.1 (demnächst verfügbar) bietet branchenführende Benchmarks für das Bildverständnis wie MMMU (74,8 %) für verschiedene Bildanforderungen, wie z. B. die Beantwortung visueller Fragen aus Diagrammen und Karten. Alle diese Modelle arbeiten direkt in der Snowflake-Umgebung – komplexe externe Integrationen sind nicht erforderlich.

Flexible Audiotranskription: Separat von den nativen Multimodal-Funktionen von Cortex AI können Kunden mit Snowpark Container Services alle Modalitäten, einschließlich der Audioverarbeitung, zu Snowflake bringen. Snowpark Container Services bietet eine verwaltete Infrastruktur für containerisierte Anwendungen, mit der Entwickler:innen Audiotranskriptionsmodelle in großem Umfang bereitstellen können. 

Mit Snowpark Container Services haben Sie die Flexibilität, Modelle wie OpenAI Whisper, Nvidia Canary oder Nvidia Parakeet auf Snowflake entsprechend Ihren spezifischen Anforderungen bereitzustellen und zu optimieren. Kundenunternehmen wählen ihr bevorzugtes Modell oft anhand der Word Error Rate (WER), aber auch anhand individueller Modellfunktionen wie mehrsprachigem Support, Performance in anspruchsvollen Umgebungen wie Callcentern oder Ressourceneffizienz. Die sichere und effiziente Umgebung von Snowflake ermöglicht Ihnen die Ausführung des Modells Ihrer Wahl und bietet eine großartige Kombination aus Flexibilität, Leistungsfähigkeit und Zuverlässigkeit.

Modernste Stimmungsanalyse auf Entitätsebene: Über die Audioverarbeitung hinaus bietet Cortex AI ausgefeilte Textanalysefunktionen zur Gewinnung von Erkenntnissen aus verschiedenen Textquellen. Ob es nun um die Analyse von transkribierten Kundengesprächen, Social-Media-Beiträgen, Produktrezensionen oder anderen Textdaten geht, unsere modernste Stimmungsanalyse auf Entitätsebene (Entity Sentiment Analysis) bietet ein differenziertes Verständnis für geäußerte Meinungen. 

Die aspektbasierte Stimmungsanalyse von Snowflake setzt neue Qualitätsstandards in der Branche und bietet eine ausgezeichnete Stimmungsklassifizierung im Vergleich zu führenden Large Language Models auf der Grundlage des unten aufgeführten Benchmarks. Cortex AI Entity_Sentiment ermöglicht die Gewinnung differenzierter Erkenntnisse aus Texten, indem die Stimmung gegenüber bestimmten Entitäten analysiert wird, anstatt sich nur auf die allgemeine Positiv- oder Negativklassifizierung zu verlassen. Cortex AI Entity Sentiment ist bis zu 45 % kosteneffizienter als die Promptierung eines großen Modells wie GPT-4o für eine deutlich höhere Stimmungsgenauigkeit. Entity_Sentiment verarbeitet effektiv komplexe Stimmungsausdrücke, einschließlich gemischter und unbekannter Stimmungen und ermöglicht die Analyse relativer Emotionen in Produktbewertungen oder Anruftranskripten. 

Fig. 3: Comparison of model accuracy on the task of aspect-based sentiment analysis (ABSA) across a combined evaluation set. The benchmark includes datasets from SemEval-2014 Task 4 (laptops and restaurants), MAMS, SENTFIN, and FABSA. The task involves identifying sentiment polarity toward specific aspects or entities mentioned in a sentence. We compare the performance of Mistral-large, Claude 3.5 Sonnet, GPT-4, and Snowflake’s model Cortex AI Entity Sentiment.
Fig. 3: Comparison of model accuracy on the task of aspect-based sentiment analysis (ABSA) across a combined evaluation set. The benchmark includes datasets from SemEval-2014 Task 4 (laptops and restaurants), MAMS, SENTFIN, and FABSA. The task involves identifying sentiment polarity toward specific aspects or entities mentioned in a sentence. We compare the performance of Mistral-large, Claude 3.5 Sonnet, GPT-4, and Snowflake’s model Cortex AI Entity Sentiment.

Fortschrittliche Dokumentenverarbeitung mit OCR: Neben der Analyse von Texten aus digitalen Quellen müssen Unternehmen auch wertvolle Informationen extrahieren, die in Dokumenten verschiedener Formate eingeschlossen sind. Die Dokumentenverarbeitungsfunktionen von Cortex AI wandeln unstrukturierte Dokumente in durchsuchbare und auswertbare Daten um. Um die Genauigkeit Ihrer Suchsysteme und multimodalen Analysen zu gewährleisten, ist eine zuverlässige Textextraktion die Grundlage für eine präzise Dokumentenverarbeitung. 

Die OCR-Funktionen von Cortex AI PARSE_DOCUMENT übertreffen beliebte kommerzielle und Open-Source-Lösungen für Unternehmensdokumente, ohne unnötige Komplexität einzuführen. Kunden können OCR-Ergebnisse, wie z. B. die LLM-basierte Beantwortung von Fragen in Finanzdokumenten, problemlos in Anwendungen integrieren. Die Lösung von Snowflake liefert deutlich bessere Ergebnisse und erreicht eine ANLS-Kennzahl von 0,974 im Vergleich zu 0,969 bei konkurrierenden Lösungen.

Fig. 4: The results of our real-world documents OCR benchmark tests, which were performed on diverse public documents for different file formats (e.g., PDF, DOCX, PPTX, TIFF) with manually annotated ground truth. The tests measure how accurately an OCR system extracts text.
Fig. 4: The results of our real-world documents OCR benchmark tests, which were performed on diverse public documents for different file formats (e.g., PDF, DOCX, PPTX, TIFF) with manually annotated ground truth. The tests measure how accurately an OCR system extracts text.

Erstklassige maschinelle Übersetzung: Für alle digitalen Texte und extrahierten Texte aus Dokumenten müssen Unternehmen Informationen oft sprachenübergreifend verfügbar machen. Cortex AI Translate liefert konsistente, hochwertige Übersetzungen in 14 Sprachen. Im Gegensatz zu allgemeinen LLMs, die Kommentare hinzufügen oder Übersetzungsanfragen ablehnen können, ist Cortex AI Translate durch einen strengen Datenaufbereitungsprozess und individuelles Modelltraining speziell für Übersetzungsaufgaben optimiert. Die Performance deckt sich mit gängigen kommerziellen Systemen und modernsten LLMs wie GPT-4o in der Branche. Gleichzeitig ist Cortex AI Translate bis zu 51 % kostengünstiger als die Promptierung eines großen Modells wie GPT-4o oder bis zu 70 % kostengünstiger als die Verwendung eines beliebten kommerziellen Systems. Darüber hinaus verarbeitet Cortex AI Translate effektiv unruhigen Text, Code-Mixing und erweiterten Kontext mit Kohärenz.

Fig. 5: chrF (character-lefel-F-score) is a metric used to evaluate machine translation quality that operates at the character level rather than the word level. BLEU compares how closely machine translations match human references by counting matching word sequences.
Fig. 5: chrF (character-lefel-F-score) is a metric used to evaluate machine translation quality that operates at the character level rather than the word level. BLEU compares how closely machine translations match human references by counting matching word sequences.

Die Zukunft der einheitlichen Data Analytics

Snowflake Cortex AI verbessert die Art und Weise, wie Unternehmen Mehrwert aus allen Daten gewinnen. Es integriert nativ strukturierte und unstrukturierte Analysen über Cortex AI COMPLETE Multimodal, alles innerhalb von Snowflake mit SQL. Das reduziert die Komplexität und beschleunigt die Zeit bis zur Gewinnung von Erkenntnissen. Mit nativer KI und zuverlässiger Governance erhalten Unternehmen ein umfassenderes und erweitertes Verständnis all ihrer Daten. Dieser einheitliche Ansatz führt zu schnelleren und wirkungsvolleren Entscheidungen. Das Snowflake AI Research Team vereinfacht den KI-Wert für Unternehmen mit Innovationen wie Cortex AI COMPLETE Multimodal und leistungsstarken Task-Specific-Funktionen, die für branchenführende Qualität optimiert sind.  

Entdecken Sie Snowflake Cortex AI COMPLETE Multimodal noch heute.

Erste Schritte:

Zukunftsgerichtete Aussagen
Dieser Artikel enthält zukunftsgerichtete Aussagen, unter anderem über künftige Produktangebote. Diese Aussagen stellen keine Garantie dar, dass diese Angebote wirklich bereitgestellt werden. Die tatsächlichen Ergebnisse und Angebote können abweichen und unterliegen bekannten und unbekannten Risiken und Unsicherheiten. Weitere Informationen finden Sie in unserem jüngsten 10-Q-Formular.

Subscribe to our blog newsletter

Get the best, coolest and latest delivered to your inbox each week

Starten Sie Ihre 30-tägigekostenlose Testversion

Testen Sie Snowflake 30 Tage kostenlos und erleben Sie die AI Data Cloud – ohne die Komplexität, Kosten und Beschränkungen anderer Lösungen.