Snowflake Openflow revolutioniert Datenbewegung für KI und Interoperabilität

Das Versprechen von Unternehmens-KI ist ebenso verführerisch wie schwer fassbar. Laut unseren Umfragen im Rahmen unseres Berichts The Radical ROI of GenAI haben viele Early Adopters generativer KI bereits deutliche Verbesserungen bei der Effizienz und einer durchschnittlichen Investitionsrendite von 41 % festgestellt. Doch bis zum ROI zu kommen, bringt zahlreiche Herausforderungen mit sich – rund um Datenaufbereitung, Datenmanagement und Datenqualität. Anhaltende Probleme rund um Reaktionsfähigkeit, Skalierbarkeit und den Umgang mit multimodalen Daten beeinträchtigen natürlich die Produktivität – und noch wichtiger: Sie bringen praktische KI außer Reichweite.

Ältere Integrations-Pipelines – starr und schwer anzupassen, zu erweitern und zu skalieren – erfordern eine atemberaubende Anzahl von Tools, die verwaltet werden müssen, und übersteigen den Wartungsaufwand. Daten bewegen sich am Ende durch ein Labyrinth von fragmentierten Pipelines und es erfordert aufwendiges Engineering, um Daten aus all ihren verschiedenen Quellen und in all ihren verschiedenen Formen zu integrieren. Und doch könnten diese Pipelines nicht genügen.

Was moderne Data Engineers brauchen, ist ein radikaler Fix, eine Plattform, die alle Anforderungen ihrer Datenintegration erfüllt – anpassungsfähig und erweiterbar, aber einfacher zu verwalten und zu kontrollieren.

Was sie brauchen, ist endlich da: Wir stellen vor: Snowflake Openflow, ein offener, erweiterbarer, verwalteter multimodaler Datenintegrationsdienst, der die Datenbewegung zwischen Datenquellen und -zielen mühelos erleichtert. Openflow unterstützt alle Datentypen – einschließlich strukturiert und unstrukturiert, Batch und Streaming – und besitzt den Schlüssel zur Unternehmens-KI. Das ermöglicht nahtloses ETL und revolutioniert die Datenbewegung in Snowflake insgesamt. 

Die gesamte Datenintegration ist auf einer Plattform vereint, mit grenzenloser Erweiterbarkeit und Interoperabilität für die Verbindung mit jeder Datenquelle. Openflow ermöglicht jede Datenarchitektur mit Zuverlässigkeit und Governance auf Unternehmensniveau, sodass Unternehmen ihren Integrationsbedarf zuverlässig skalieren können. Wir freuen uns, bekannt geben zu können, dass Snowflake Openflow jetzt allgemein in allen kommerziellen AWS-Regionen mit der Bereitstellung von Bring Your Own Cloud (BYOC) verfügbar ist.

Ein umfassendes Framework rund um Snowflake Openflow

Um diese Vision zum Leben zu erwecken, baut Openflow auf einer leistungsstarken Grundlage und wichtigen Komponenten für die moderne Datenintegration auf, darunter:

• Open Source Apache NiFi: Im Kern basiert Openflow auf dem OSS Apache NiFi-Framework zur Datenintegration, dem Tausende von Unternehmenskunden vertrauen. Openflow erweitert Apache NiFi um unternehmenstaugliche Governance, Sicherheit, Flexibilität bei der Bereitstellung und Beobachtbarkeit.   

• Bereitstellung und Laufzeitumgebung: Kunden führen die Openflow-Konnektoren und -Pipelines in einer Openflow-Bereitstellung aus. Kunden können über Bring Your Own Cloud (BYOC) – allgemein verfügbar in AWS oder in Snowflake Snowpark Container Services (SPCS) (Private Preview) mit dem von Snowflake verwalteten Integrationsdienst – in ihrer eigenen VPC ausführen. Kunden können mehrere Bereitstellungen an die Steuerungsebene binden, die jeweils unterschiedliche Anwendungsfälle bedienen. Innerhalb einer Bereitstellung können Laufzeitumgebungen horizontal skaliert werden, Multi-Knoten- und Multi-Cluster-Bereitstellungen unterstützt und die Resilienz bei der Notfallwiederherstellung erhöht werden.

• Openflow-Service und API: Der Openflow-Service und API werden in Snowflake als verwaltete Services ausgeführt, sodass Kunden Daten-Pipelines ganz einfach über eine intuitive Benutzeroberfläche bereitstellen und verwalten können. Dadurch erhalten Kunden eine einheitliche Benutzererfahrung mit tiefgreifender Beobachtbarkeit, einschließlich Echtzeit-Überwachung und Warnungen, DAG-Visualisierung und Aktualisierung von Verlaufsinformationen.

• Openflow-Konnektoren: Die Konnektoren in Openflow sind kuratiert, verwaltet, sicher und kontrolliert. Lesen Sie die Snowflake-Dokumentation, um Konnektoren zu finden, die allgemein verfügbar und in Preview verfügbar sind. Darüber hinaus sind Openflow-Konnektoren leicht erweiterbar und anpassbar, und Openflow-Power-User können ihre eigenen Abläufe mit Prozessorbausteinen erstellen.

Unzählige Türen zur freien Integration von Daten öffnen

Mit diesem verwalteten Dienst bringt Openflow Benutzerfreundlichkeit, Komfort und Sicherheit in den Integrations-Entwicklungsprozess. Dadurch werden Anwendungsfälle für die Integration erschlossen, darunter: 

• Turbocharge-ETL für KI: Openflow verbindet Unternehmensdaten mit KI mit bidirektionalen Datenflüssen nahezu in Echtzeit, unabhängig davon, wo sich ein Modell oder Agent befindet. Bei bestimmten Wettbewerbern kann eine Verbindung mit unstrukturierten Daten unerreichbar sein, was die Bereitstellung von AI Agents und Retrieval-Augmented Generation (RAG) unmöglich macht. Openflow unterstützt verschiedene Datenstrukturen und -anforderungen und verwaltet einheitliche Benutzerberechtigungen, wenn Daten von der Quelle zum Ziel bewegt werden. Openflow erfüllt die Anforderungen der Quellsystemzugriffskontrollliste (Source System Access Control List, ACL) und verfügt über einheitliche Benutzerberechtigungen für die Quelle. Es bietet auch integrierte Funktionen zum Analysieren und Vorverarbeiten der unstrukturierten Dateien vor dem Schreiben in Snowflake, wobei die nativen Snowflake Cortex AI-Funktionen auf einer einzigen Plattform genutzt werden. 

• Hybride Bereitstellung in der gesamten Dateninfrastruktur: Openflow bietet die Flexibilität, Pipelines über die verwaltete Infrastruktur von Snowflake oder BYOC bereitzustellen. So haben Kunden die volle Kontrolle darüber, wo Pipelines ausgeführt werden, und gleichzeitig wird der betriebliche Aufwand reduziert, da es sich bei beiden Optionen um verwaltete Dienste handelt. Kunden müssen nicht mehr auf Benutzerfreundlichkeit oder Kontrolle verzichten. 

• Streaming-Daten mit hohem Durchsatz und geringer Latenz: Openflow verbindet sich direkt mit Streaming-Quellen wie Apache Kafka, Amazon Kinesis und Kafka Sink, sodass Streaming-Daten in Snowflake und zurück zu Streaming-Systemen fließen können. Dank der neuen Snowpipe Streaming-Integration mit Openflow (in Preview) liefert Streaming Ingestion jetzt 10 GB/s Durchsatz mit einer Latenzzeit von fünf Sekunden bis zur Abfrage und Inline-Transformation. 

• Unterstützung offener Architektur: Ältere Datenplattformen bieten zwar Integrationsdienste, sind aber oft eine Blackbox und erfordern eine Anbieterbindung. Es ist schwierig, Datenintegrations-Pipelines zu erweitern oder mit anderen Datenplattformen zu arbeiten. Openflow hingegen ist mit Interkonnektivität als Kernstück konzipiert und ermöglicht eine offene und interoperable Architektur. Benutzer:innen können Daten zu Data Lakes und Lakehouses ihrer Wahl verschieben und sich problemlos an neue Branchenstandards wie Apache Iceberg anpassen. 

Openflow ermöglicht Datenbewegungen mit Hunderten sofort einsatzbereiten Konnektoren und leicht erweiterbaren Anpassungen und vereinfacht so die Integration verschiedener Daten auf einer Plattform. Die breite Palette an Datenquellen umfasst Box, Google Ads, Microsoft Dataverse, Microsoft SharePoint, Oracle, Proofpoint, Salesforce, ServiceNow, Slack, Workday, Zendesk und viele mehr. Insbesondere arbeitet Snowflake mit Oracle an einer leistungsstarken, skalierbaren und kostengünstigen Lösung zur Replikation von Change Data Capture (CDC) von Oracle-Datenbanken auf Snowflake.  

Openflow basiert auf Interoperabilität und Skalierbarkeit und kann mit jedem Anwendungsfall mitwachsen, insbesondere mit solchen, die KI unterstützen. Zu guter Letzt bietet Openflow Einfachheit, Kontrolle, Beobachtbarkeit sowie Sicherheits- und Governance-Funktionen auf Enterprise-Niveau.

„Unser Ziel ist es, unseren Kunden nahtlose, datengestützte Erfahrungen zu bieten, und Snowflake Openflow ist eine grundlegende Säule, um das zu verwirklichen“, so David Libesman, SVP & GM of Data & Analytics bei Workwave. „Insbesondere haben wir Hunderte von SQL Server-Datenbanken. Mit Openflow können Daten mühelos über mehrere Clouds und Regionen hinweg repliziert werden. Aber wir sind auch gespannt, was es für KI liefern kann und wie es uns auf die Zukunft vorbereitet. Es ist die ETL-Lösung, die die nächste Generation unserer Produkte und Dienste unterstützen wird.“

Die endlosen Möglichkeiten sind wirklich elektrisierend, da unsere innovativen Partner bereit sind, die Leistungsfähigkeit von Openflow zu nutzen. Wir sind stolz, die Begeisterung aus unserem breiten Ökosystem mit mehr als 30 Launch-Partnern auf der ganzen Welt zu teilen. Gemeinsam sind wir bereit, die enormen Chancen und den Wert, den Openflow für unsere Kunden bieten kann, zu liefern. 

Erste Schritte mit Snowflake Openflow

Snowflake hat mit Implementierungspartnern auf der ganzen Welt zusammengearbeitet, um Kunden die Inbetriebnahme von Snowflake Openflow zu ermöglichen.

Erfahren Sie mehr über Snowflake Openflow oder probieren Sie es noch heute aus. Wenn Sie mehr Demos sehen und mehr über Openflow erfahren möchten, seien Sie am 29. Juli 2025 bei Data Engineering Connect dabei. Jetzt hier anmelden. 

Zukunftsgerichtete Aussagen

Dieser Artikel enthält zukunftsgerichtete Aussagen, unter anderem über künftige Produktangebote. Diese Aussagen stellen keine Garantie dar, dass diese Angebote wirklich bereitgestellt werden. Die tatsächlichen Ergebnisse und Angebote können abweichen und unterliegen bekannten und unbekannten Risiken und Unsicherheiten. Weitere Informationen finden Sie in unserem jüngsten 10-Q-Formular.