Entwicklung von RAG- und agentenbasierten KI-Apps mit Claude 3.5 Sonnet von Anthropic in Snowflake Cortex AI
Heute freuen wir uns, die allgemeine Verfügbarkeit von Claude 3.5 Sonnet als erstes Anthropic-Grundlagenmodell in Snowflake Cortex AI bekannt geben zu können. Kundenunternehmen können nun über bekannte Schnittstellen – SQL, Python und REST API (demnächst verfügbar) – auf das intelligenteste Modell der Claude-Modellfamilie von Anthropic innerhalb des Snowflake-Sicherheitsbereichs zugreifen. Dank dieser nativen Integration können Daten- und Engineering-Teams einige der häufigsten Herausforderungen in der KI-Bereitstellung effizient meistern, darunter Data Governance, Datenschutz und Integration, wie aus der MIT Technology Review Insights Umfrage 2024 hervorgeht.
Mit Sonnet 3.5 in Cortex AI können Unternehmen das volle Potenzial ihrer Daten durch dialogorientierte Assistenten und groß angelegte Sprachverarbeitung weiter ausschöpfen. Die fortschrittlichen Sprachmodelle von Claude werden noch weiter verbessern, wie Entwickler:innen Agenten entwickeln können, die Ad-hoc-Analysen durchführen, Antworten aus Dokumenten und anderen Wissensdatenbanken extrahieren und andere mehrstufige Workflows ausführen können. Sie können Anwendungen innerhalb der Sicherheitsumgebung von Snowflake mit den Modellen neben Ihren kontrollierten Daten erstellen. Die Benutzerfreundlichkeit in Verbindung mit der zuverlässigen Umgebung beschleunigt die Bereitstellung unternehmenstauglicher KI.
Snowflake Cortex AI
Snowflake hat Cortex AI eingeführt, eine Suite integrierter Funktionen und Services, die vollständig verwaltete LLM-Inferenz, Feinabstimmung und RAG für strukturierte und unstrukturierte Daten umfassen. So können Kunden unstrukturierte Daten schnell neben ihren strukturierten Daten analysieren und die Entwicklung von KI-Apps beschleunigen. Mit der einheitlichen KI- und Datenplattform können viele Unternehmen innerhalb weniger Tage vom KI-Konzept zur Realität übergehen. Unternehmen verschiedenster Größen und Branchen können nun verschiedenste Anwendungsfälle umsetzen, von der Textzusammenfassung und Stimmungsanalyse bis hin zur Entwicklung leistungsstarker KI-Chatbots.
Claude 3.5 Sonnet
Claude 3.5 Sonnet ist ein Grundlagenmodell des KI-Sicherheits- und Forschungsunternehmens Anthropic. Das Modell setzt die Messlatte für Intelligence höher und übertrifft sowohl die Konkurrenzmodelle als auch das Opus Claude 3 in einer Vielzahl von Bewertungen, darunter eine neue moderne Leistung für SWE-bench, eine Software-Engineering-Bewertung. Claude 3.5 Sonnet brilliert bei Branchen-Benchmarks für Schlussfolgerungen auf „Graduate-Level“ (GPQA), Wissen auf „Undergraduate-Level“ (MMLU) und Programmierkenntnisse (HumanEval). Darüber hinaus hat es die Performance mit präzisen Nuancen, Humor und komplexen Anweisungen verbessert. Dank der Schlussfolgerungen und der Kombination aus Performance eignet sich Claude 3.5 Sonnet ideal für komplexe Aufgaben wie die Bereitstellung kontextbezogener Kundenbetreuung und die Orchestrierung von mehrstufigen Workflows.
„Für uns als führender Anbieter im Bereich der modularen CDPs ist generative KI der Schlüssel zu unserer Fähigkeit, unbekannten oder ungenutzten Wert auf einfache Weise aus Kundendaten in Snowflake zu extrahieren. Durch den Zugriff auf die branchenführenden Claude 3.5-Modelle von Anthropic innerhalb von Snowflake Cortex AI können wir auf sichere und kontrollierte Weise schneller Mehrwert für unsere gemeinsamen Kunden erschließen. Diese einheitliche Governance von Daten und KI gibt uns die Möglichkeit, schnell zu handeln und verbessert die Art und Weise, wie wir unsere Kunden mit KI bedienen, erheblich.“
Jason Davis
Verwendung des Modells von Anthropic in Cortex AI
Mit Snowflake Cortex AI ist der Zugriff auf LLMs ein Kinderspiel. Sie müssen keine Integrationen verwalten; die Governance ist über Daten und KI hinweg einheitlich. Sie können auf die Modelle in einer der unterstützten Regionen zugreifen. Sie können auch aus anderen Regionen mit aktivierter regionsübergreifender Inferenz zugreifen.
Auf dem Cortex Playground können Sie über die Registerkarte KI/ML Studio schnell auf das Modell zugreifen, um Prompts zu testen und verschiedene Inferenzkonfigurationen auszuwerten. Außerdem können Sie Modelle vergleichen, Antwortvariationen mit verschiedenen Einstellungen analysieren und Cortex Guard einsetzen, um potenziell unangemessene oder unsichere Antworten herauszufiltern.
SQL und Python
Das Modell kann in eine Daten-Pipeline oder eine Streamlit in Snowflake-App integriert werden, um mehrere Zeilen in einer Tabelle zu verarbeiten. Für diese Integration kann die COMPLETE-Funktion verwendet werden, die sowohl in SQL als auch in Python verfügbar ist. Der Zugriff auf Claude-Modelle ist auch über ein Snowflake Notebook oder Ihre bevorzugte IDE mit OAuth für benutzerdefinierte Clients möglich.
SELECT SNOWFLAKE.CORTEX.COMPLETE('claude-3-5-sonnet', CONCAT(‘Summarize this customer feedback in bullet points: <feedback>', content, '</feedback>');Weitere Vorlagen und Details zur Verwendung der SQL-Funktion finden Sie hier und Informationen über die Syntax in Python finden Sie hier.
REST API (demnächst verfügbar)
Damit Dienste oder Anwendungen, die außerhalb von Snowflake ausgeführt werden, Inferenzen mit niedriger Latenz an Cortex AI durchführen können, ist die REST API-Schnittstelle die ideale Lösung. Hier ein Beispiel dafür, wie das aussieht:
curl -X POST \
"model": "claude-3-5-sonnet",
"messages": [
{
"content": "Summarize this customer feedback in bullet points: <feedback>”
}
],
"top_p": 0,
"temperature": 0
}' \
https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:completeJetzt loslegen: Entwicklung einer RAG-basierten Anwendung zum Durchsuchen von Dokumenten
Mit Claude 3.5 Sonnet in Cortex AI können Sie ganz einfach Apps mit anderen Funktionen wie Streamlit (Frontend-Entwicklung in Python) und Cortex Search (RAG-Engine mit integrierter Einbettungsgenerierung, Vektormanagement und hybrider Suche) parallel zu Ihren Daten erstellen.
Wie geht es weiter mit Anthropic und Snowflake
Mit der Verfügbarkeit von Claude in Cortex AI wollen die Agenten-KI-Produkte von Snowflake, darunter Snowflake Intelligence (demnächst in Private Preview) und Cortex Analyst (Public Preview), Claude als eines der wichtigsten LLMs nutzen, weitere Details folgen.
Mit der branchenführenden Genauigkeit und dem umfangreichen Kontextfenster von Claude können Unternehmen geschäftskritische KI-Apps entwickeln, die zuverlässigere und genauere Antworten auf all ihre Daten liefern. Wir freuen uns darauf, von den Anwendungen zu erfahren, die Sie mit Claude Sonnet auf der AI Data Cloud entwickeln werden!
Wenn Sie mehr über generative KI in Snowflake und die Anwendungsfälle erfahren möchten, sehen Sie sich den GenAI Day am 22.Januar an.
Hinweis: Dieser Artikel enthält zukunftsgerichtete Aussagen, unter anderem über künftige Produktangebote. Diese Aussagen stellen keine Garantie dar, dass diese Angebote wirklich bereitgestellt werden. Die tatsächlichen Ergebnisse und Angebote können abweichen und unterliegen bekannten und unbekannten Risiken und Unsicherheiten. Weitere Informationen finden Sie in unserem jüngsten 10-Q-Formular.
Autor:innen
