Vereinfachen Sie den gesamten Lebenszyklus der Datenentwicklung

Bis die meisten Unternehmensdaten die Systeme erreichen, die darauf reagieren sollen, sind sie oft bereits veraltet. Diese Verzögerung macht den Unterschied aus, ob KI-Agenten eine nützliche Antwort geben oder einen teuren Fehler begehen. Agentic AI kann nur dann intelligente Entscheidungen treffen, wenn sie kontinuierlichen Zugriff auf aktuelle Informationen hat.

Die Anforderungen an Data-Engineering-Teams haben sich in Richtung Echtzeit-Pipelines und ereignisgesteuerter Architekturen verschoben, da immer mehr Unternehmen Agentic AI in die Produktion überführen – was die Notwendigkeit unterstreicht, mehr Quellen anzubinden und zu kontrollieren, auch wenn diese ständigen Änderungen unterliegen. Doch das, was die Teams entwickeln sollen, übersteigt das, was ihre aktuelle Datenplattform unterstützen kann.

Auf dem Summit 2026 stärkt Snowflake die Plattform, um Data-Engineering-Teams dabei zu helfen, im KI-Zeitalter erfolgreich zu sein. Dazu gehören bemerkenswerte Veröffentlichungen wie ein nativer, mit Apache Kafka kompatibler Streaming-Dienst und KI-gestützte Funktionen, die die Kosten für Datenverschiebung und -migration senken.

Diese Verbesserungen reduzieren die Zeit, die Data Engineers für Infrastrukturmanagement und manuelle Orchestrierung aufwenden, sodass sie weniger Zeit mit Routineaufgaben und mehr Zeit mit den Ergebnissen verbringen können, die KI ermöglicht, wobei Snowflake CoCo als roter Faden dient, der komplexe Setups in eine geführte Konversation verwandelt.

Streamen Sie Daten in der Geschwindigkeit, die KI erfordert

Agenten beobachten, entscheiden, handeln, lernen und lassen dieses Wissen in die nächste Entscheidung einfließen. Jede Entscheidungsschleife sollte die nächste Antwort präziser, persönlicher und umsetzbarer machen. Dieser Zyklus läuft kontinuierlich, was bedeutet, dass auch die Daten, die ihn speisen, kontinuierlich fließen müssen. Unternehmen, die Kafka ausführen, verfügen bereits über das Streaming-Backbone, das dieser Zyklus erfordert. Das Problem ist, dass der Betrieb neben einer separaten Analytics-Plattform bedeutet, dass zwei separate Systeme bezahlt, kontrolliert und mit Personal besetzt werden müssen, während die Daten immer noch zu spät an dem Ort ankommen, an dem die Entscheidungen tatsächlich getroffen werden.

Datastream (demnächst in Private Preview) ist der native, mit Apache Kafka kompatible Streaming-Dienst von Snowflake, der darauf ausgelegt ist, diesen betrieblichen Aufwand in einer einzigen kontrollierten Plattform zu konsolidieren. Daten landen kontinuierlich als native Snowflake- oder offene Apache Iceberg™-Tabellen und können in Sekundenschnelle abgefragt werden. Topics werden mit der rollenbasierten Zugriffskontrolle (RBAC) von Snowflake gesichert, und Tabellen erben die volle Leistungsfähigkeit des Horizon Catalog, einschließlich Klassifizierung, Lineage und Maskierungsrichtlinien. Daten werden in dem Moment kontrolliert, in dem sie eintreffen. Beschreiben Sie einfach die benötigte Streaming-Pipeline, und CoCo übernimmt die Authentifizierung von Datastream und das Onboarding von Teams in wenigen Minuten, ohne dass tiefgreifende Kafka-Kenntnisse erforderlich sind.

Datastream wurde speziell für Unternehmen entwickelt, die ihre Kafka-Infrastruktur durch einen nativen Snowflake-Dienst ersetzen möchten. Die High-Performance-Architektur von Snowpipe Streaming ist eine direkte Ingestion-API für Teams, die Daten aus ihren eigenen Anwendungen streamen, einschließlich aus bestehenden Kafka-Clustern über den Kafka Connector. Heute verarbeitet Cboe Global Markets, ein Börsenbetreiber, täglich 190 Milliarden Zeilen an Marktdaten und fragt diese in unter 30 Sekunden ab, um Händler:innen und Analyst:innen Echtzeit-Einblicke in die Marktaktivitäten zu geben. Auf dem Summit umfassen die Erweiterungen für Snowpipe Streaming:

• Kafka Connector 4.0 (allgemein verfügbar) bietet eine serverseitige Ingestion von bis zu 10 GB/s pro Tabelle und reduziert clientseitige Ressourcen um bis zu 30 %¹, sodass Teams den Durchsatz skalieren können, ohne die Kosten zu erhöhen.
• Error Logging (allgemein verfügbar) erfasst fehlgeschlagene Zeilen in einer per SQL abfragbaren Tabelle mit vollem Kontext, sodass Teams Datenqualitätsprobleme erkennen können, bevor Agenten auf fehlerhafte Eingaben reagieren.
• Mit der mehrsprachigen SDK-Unterstützung (allgemein verfügbar) streamen Teams aus ihrem vertrauten Stack, einschließlich Java, Python, Node.js und einer REST-Schnittstelle.
• Elastic Channels (Private Preview) ermöglicht es Tausenden von Clients, gleichzeitig Gigabytes pro Sekunde über einen gemeinsam genutzten, automatisch skalierenden Endpunkt in eine Tabelle zu streamen, was die Entwicklungszeit für den Aufbau und die Skalierung von Streaming-Pipelines reduziert.
• Durable Acknowledgments (Private Preview) beseitigt das Zeitfenster für potenziellen Datenverlust zwischen Ingestion und Commit. Unternehmenskritische Pipelines speisen Agenten niemals mit unvollständigen Daten.

Pipelines, die sich selbst verwalten

Daten in Echtzeit in Snowflake zu laden, ist nur die halbe Miete. Die andere Hälfte besteht darin, diesen Rohdaten-Stream in etwas zu verwandeln, das Analyst:innen, Modelle und Agenten tatsächlich nutzen können. Diese Transformationsschicht muss kontinuierlich ausgeführt werden, ihre eigenen Wiederholungs- und Aktualisierungslogiken verwalten und zuverlässig bleiben, ohne dass ein dedizierter Engineer sie ständig überwacht. Teams kommen schneller voran, wenn sich Pipelines selbst verwalten.

Auf dem Summit demonstrierte Sergey Labetsik von Wind Creek Hospitality, wie die Migration eines dbt-Batch-Jobs – der zuvor in einem 30-Minuten-Takt lief – zu einer Dynamic Tables-Pipeline die End-to-End-Latenz auf unter eine Minute senkte, sodass Gäste ihre Essensgutscheine in dem Moment erhielten, in dem sie sie verdienten.

Und dieser deklarative Weg ist schneller und flexibler geworden. Performance-Verbesserungen (allgemein verfügbar) bieten eine bis zu 2,8-mal schnellere Aktualisierung für gängige Dynamic Table-Workloads². Benutzerdefinierte Inkrementalisierung (Public Preview) ermöglicht es Engineers, MERGE- oder INSERT-Anweisungen für Transformationen zu verwenden, die nicht deklarativ ausgedrückt werden können, während die vollständige Automatisierung von Dynamic Tables erhalten bleibt.

DCM Projects (Public Preview) bieten Teams einen einzigen, kontrollierten Workflow, um die Infrastruktur deklarativ zu definieren, Änderungen umgebungsübergreifend in der Vorschau anzuzeigen und bereitzustellen sowie einen vollständigen Audit-Trail für jedes Deployment zu führen. dbt Projects on Snowflake, jetzt noch schneller mit Fusion-Unterstützung (allgemein verfügbar), weitet dieselbe Philosophie auf dbt-Benutzer:innen aus.

CoCo-Fähigkeiten für Snowpipe Streaming, Dynamic Tables und dbt Projects beschleunigen die Einrichtung und Fehlerbehebung in diesen Workflows, sodass sich Engineers auf die Pipeline-Logik anstatt auf Boilerplate-Code konzentrieren können.

Greifen Sie auf Unternehmensdaten mit Geschäftssemantik zu, ohne sie zu verschieben

Einige der wertvollsten Daten in einem Unternehmen müssen überhaupt nicht verschoben werden. Sie befinden sich bereits in wichtigen Unternehmensplattformen wie SAP, Salesforce und Workday, in denen geschäftliche Bedeutung, Beziehungen und semantische Modelle integriert sind. Für Führungskräfte, die versuchen, KI-Initiativen in die Produktion zu überführen, sind diese Rekonstruktionskosten oft das größte Hindernis.

Anstatt Daten zu replizieren, machen Zero-Copy Integrations die Intelligenz des Quellsystems direkt in Snowflake verfügbar: kontrolliert, abfragebereit und mit der semantischen Fülle, die KI-Workloads benötigen, um zuverlässig zu funktionieren. Modelle und Agenten arbeiten mit Daten, die ihren ursprünglichen Geschäftskontext beibehalten, anstatt mit reduzierten Tabellenreplikaten.

SAP ist jetzt allgemein über SAP BDC Connect for Snowflake verfügbar und bietet eine bidirektionale Zero-Copy-Integration. Data Engineers greifen ohne komplexes ETL auf SAP-ERP-Daten für KI, Analytics und Data Engineering zu, während angereicherte Erkenntnisse zurück in SAP fließen, um automatisierte Aktionen auszulösen. Salesforce Data 360, ein Pionier in der nativen Zero-Copy-Integration mit Snowflake, bietet ein verbessertes Konnektor-Erlebnis, das es Kunden ermöglicht, Daten bidirektional ohne Pipeline-Wartung zu teilen. Workday geht in die Private Preview und macht Personal- und Finanzdaten als Externally Managed Iceberg Tables mit inkrementeller Änderungserfassung auf der Speicherebene verfügbar.

Bei allen dreien ist die Architektur konsistent: Die Daten verbleiben im Quellsystem, werden in Snowflake über Catalog-Linked Databases verfügbar gemacht und übernehmen den gesamten Governance-Perimeter von Horizon. End-to-End-Lineage, Zugriffsrichtlinien und Audit-Trails gelten ab dem Moment, in dem die Daten sichtbar werden. Darüber hinaus übernehmen CoCo-Skills das Lifecycle-Management, sodass Teams Verbindungen über natürlichsprachliche Prompts konfigurieren und verwalten können, was die Integration von Unternehmensdaten für jede:n Snowflake-Nutzer:in zugänglich macht.

Verbinden Sie den Rest mit Snowflake Openflow

Zero-Copy funktioniert für Unternehmensplattformen, die in native Integrationspfade investiert haben. Aber viele kritische Daten befinden sich immer noch in lokalen Online Transaction Processing (OLTP)-Datenbanken, SaaS-Anwendungen und Altsystemen, die nie für die gemeinsame Nutzung konzipiert wurden.

Seit der Einführung im letzten Jahr verzeichnet Openflow, der Managed Data Integration Service von Snowflake, Powered by Apache NiFi, eine wachsende Kundenakzeptanz, da Teams fragmentierte Konnektor-Stacks auf einer einzigen Plattform konsolidieren. Diese Dynamik treibt eine erhebliche Erweiterung des Umfangs auf dem Summit voran.

Das Managed Deployment von Snowflake ist jetzt allgemein auf der Google Cloud Platform verfügbar und ergänzt AWS und Azure. Der Data Connectivity Proxy (in Kürze allgemein auf AWS verfügbar) erweitert Openflow auf private Netzwerke und verbindet Quellen, die zuvor nur durch Custom Engineering erreichbar waren. Openflow unterstützt strukturierte und unstrukturierte Daten, Batch und Streaming und bleibt offen und erweiterbar. Teams erstellen benutzerdefinierte Konnektoren und führen sie auf der verwalteten Plattform von Snowflake aus, ohne die Kontrolle aufzugeben.

Ein geführter Setup-Assistent in Snowsight führt Schritt für Schritt durch die Konnektor-Installation mit integrierter Validierung der Quellkonnektivität, sodass Sie in wenigen Minuten vom Setup zur Datenerfassung übergehen können. Wenn Konnektoren Fehler aufweisen, analysiert das KI-gestützte Troubleshooting, Powered by CoCo und direkt in das Connector Monitoring Dashboard eingebettet, Protokolle und liefert gezielte Behebungsschritte für die wachsende Openflow-Bibliothek, einschließlich neu hinzugefügter, stark nachgefragter Konnektoren wie Veeva, BigQuery und MongoDB (alle in Public Preview). Diese Konnektoren nutzen KI-gestützte Anpassbarkeit, um die Bereitstellung zu beschleunigen und tiefere Einblicke in spezialisierte Branchendaten zu bieten.

Skalierbares Erstellen und Bereitstellen mit Snowpark

Nicht jede Transformation passt in ein deklaratives Modell. Für Data Engineers und Data Scientists, die programmatisch mit Python, Java, Scala und Apache Spark™ entwickeln, umfassen Transformationen komplexes Datei-Parsing, ML-Inferenz im Batch-Maßstab und mehrstufige Python-Workflows. Die Herausforderung besteht darin, dass die Bereitstellung in der Produktion länger dauern kann als das Schreiben des Codes selbst. Snowpark schließt diese Lücke zwischen Prototyp und Produktion.

Zu den wichtigsten Veröffentlichungen auf dem Summit gehören die optimierte ML-Batch-Inferenz (Public Preview) für schnelleres, effizienteres Scoring in großem Maßstab; erweiterte Snowpark Data Integration APIs mit JDBC-Unterstützung (Public Preview), um den Aufwand für die Übertragung externer Daten in Snowflake zu reduzieren; File Transform für Apache Spark (in Kürze in Public Preview) für großes und komplexes Datei-ETL; Snowpark Directory Import (allgemein verfügbar) für die einfachere Bereitstellung von Python-Projekten mit mehreren Dateien; ein visueller DAG-Pipeline-Builder zur Orchestrierung von Notebooks und ML Jobs (Private Preview); und Code Bundles für die Bereitstellung von Python- und Java-Code in der Produktion (in Kürze in Public Preview).

CoCo-Skills für Snowpark Python und Apache Spark reduzieren die Reibungsverluste bei der Bereitstellung und Migration dieser programmatischen Pipelines weiter und helfen Teams, von lokalem Python- oder Apache Spark-Code zu produktionsbereiten Workflows mit einer 5,1-fach schnelleren Performance und 42 % geringeren Kosten zu wechseln³.

Setzen Sie Ihr Ziel: Snowflake AIM erledigt den Rest

Nichts bremst ein Datenteam so sehr aus wie das Gewicht dessen, was es geerbt hat. Legacy-ETL-Tools, veraltete SQL-Dialekte, Oracle-Schemata, die älter sind als das aktuelle Engineering-Team – Migrationsprojekte haben den wohlverdienten Ruf, lange zu dauern, das Budget zu überschreiten und Risiken für Workloads mit sich zu bringen, die gut liefen, bis sie es nicht mehr taten. Viele Unternehmen pflegen am Ende den alten Stack parallel zum neuen, was sowohl die Kosten als auch den Verwaltungsaufwand über Monate, wenn nicht Jahre hinweg verdoppelt.

Snowflake AIM (KI-gestützte Migration), jetzt allgemein verfügbar, ist eine einheitliche Migrations-, Modernisierungs- und Virtualisierungsplattform, die geistiges Eigentum (IP) von SnowConvert AI, dem Snowpark Migration Accelerator und Datometry kombiniert. Ein Snowflake AIM-Migrationsagent, der über Snowflake CoCo verfügbar ist, führt Teams durch die End-to-End-Reise: Er zeichnet ein klares, abhängigkeitsbewusstes Bild davon, was in welcher Reihenfolge und mit welchem Risiko verschoben werden muss, bevor jemand die Produktion berührt. Prozesse, die früher Wochen oder Monate dauerten, erfolgen jetzt in einem Bruchteil der Zeit.

Der Data Engineer als Outcome-Architekt

Das Muster bei allen Ankündigungen ist das gleiche: Reduzieren Sie die Zeit, die Engineers damit verbringen, Systeme am Laufen zu halten, damit sie mehr Zeit für Ergebnisse aufwenden können, die wichtig sind. Die Tasks, die früher Engineering-Zyklen verbrauchten, von der Konnektor-Wartung bis zum Pipeline-Debugging, werden mit jedem Release schneller und einfacher zu handhaben, und CoCo ist der Faden, der sie zusammenhält.

In dieser Umgebung wird die Rolle des Data Engineers nur noch wichtiger. Bei der Arbeit geht es weniger um Infrastrukturarbeit und mehr um die Architektur der Datengrundlage, auf der die KI tatsächlich läuft. Snowflake setzt sich weiterhin dafür ein, das Komplexe unsichtbar zu machen, damit sich Datenteams auf das konzentrieren können, was sie jetzt möglich machen.

• Interessiert an Datastream? Bekunden Sie Ihr Interesse
• Demo: Verwendung von Cortex Code mit Snowflake Openflow
• Demo: High-Performance-KI-Pipelines mit Echtzeit-Streaming und CoCo erstellen
• Demo: Python-Pipelines mit CoCo in unter 2 Minuten bereitstellen
• Demo: PySpark-Code mit CoCo zu Snowflake migrieren
• Snowflake Connect: Data Engineering | Transformations-Pipelines für KI-bereite Daten erstellen

1. Kunden berichten von bis zu 30 % geringeren clientseitigen Ressourcenkosten durch die Nutzung der High-Performance-Architektur von Snowpipe Streaming. Weitere Informationen finden Sie hier: Skalierung von Streaming bei Snowflake: Einführung unserer Snowpipe Streaming-Architektur der nächsten Generation
2. Snowflake-Performance-Verbesserungen basierend auf einem internen Transformations-Workload, gemessen am 4. Mai 2025 unter Verwendung eines Standard-Warehouses und am 4. Mai 2026 unter Verwendung von Gen2.
3. Basierend auf Produktions-Anwendungsfällen von Kunden und Proof-of-Concept-Projekten, in denen die Geschwindigkeit und die Kosten von Snowpark im Vergleich zu verwalteten Spark-Services zwischen November 2022 und Mai 2025 verglichen wurden. Alle Ergebnisse basieren auf tatsächlichen Kundenergebnissen mit realen Daten und repräsentieren keine fiktiven, als Benchmarks verwendeten Datasets.