Vereinfachung der Unternehmensdatenintegration: ein tiefer Einblick in die BYOC-Bereitstellung von Snowflake Openflow

Um daraus wertvolle datengestützte Erkenntnisse zu gewinnen – sei es durch Analytics, maschinelles Lernen oder Suchen –, suchen Unternehmen ständig nach besseren Möglichkeiten, die Berge an Informationen zu verwalten, über die sie verfügen. In der Vergangenheit war das jedoch viel einfacher gesagt als getan. In der Praxis erfordert dies den Aufbau (und die Pflege) komplexer Integrations-Pipelines, die schnell umständlich und kostspielig werden. 

Für viele mag ein Datenintegrationsdienst, der anpassungsfähig und erweiterbar ist, aber dennoch einfach zu verwalten und zu kontrollieren ist, wie ein Wunschtraum klingen. Doch genau das wurde mit Snowflake Openflow entwickelt. Openflow bietet zwei Bereitstellungsoptionen: In Snowflake gehostet und bei Kunden gehostet. Die kundengehostete Option, die auf einer BYOC-Bereitstellung (Bring your own cloud) basiert, ist allgemein in allen kommerziellen AWS-Regionen verfügbar. Mit diesen Bereitstellungsoptionen bietet Openflow die Flexibilität, Datenflüsse überall dort auszuführen, wo sich Kundendaten befinden, ohne Kompromisse bei Datenschutz oder Sicherheit einzugehen – und das bei gleichzeitiger betrieblicher Einfachheit.

In diesem Blogbeitrag, dem ersten Teil einer zweiteiligen Reihe, werden wir näher darauf eingehen, was es ist, warum es für Ihr Team von Vorteil sein kann und wann BYOC eingesetzt werden sollte. Später werden wir uns sowohl von Kunden als auch von Snowflake gehostete Optionen ansehen. 

Die Schönheit von BYOC

Wenn es um Datenbewegungen und Networking geht, müssen Unternehmen in der Regel zwischen zwei Arten von Bereitstellungen wählen – einer vollständig verwalteten SaaS-Option oder einer selbst gehosteten Alternative –, die jeweils Vorteile und Nachteile mit sich bringen. Ein verwaltetes SaaS-Angebot lässt sich einfach einrichten und pflegen, es mangelt jedoch oft an Flexibilität. Self-Hosting ermöglicht eine größere Kontrolle und Anpassung, erfordert aber viel mehr Arbeit, insbesondere zu Beginn. 

Die BYOC-Option hat sich jedoch als Mittelweg erwiesen – eine Goldilocks-Lösung, die die Vorteile beider Lösungen bietet: bequem und skalierbar, mit Flexibilität und Kontrolle. Mit BYOC genießen Unternehmen die Erfahrung eines verwalteten Dienstes direkt auf ihrer Cloud-Infrastruktur. Sie sind in der Lage, öffentliche und private Systeme sicher miteinander zu verbinden und sensible Daten lokal in den sicheren Grenzen der Cloud-Umgebung des Unternehmens vorzuverarbeiten. Für größere Unternehmen bietet BYOC auch die Möglichkeit, von den bevorzugten Preisen zu profitieren, die sie aus ihren bestehenden Cloud-Infrastrukturverträgen erhalten, was für den Gewinn von Vorteil ist. Aus all diesen Gründen und noch mehr erfreut sich das BYOC-Modell in letzter Zeit wachsender Beliebtheit.

Datenflüsse mit Flexibilität

Die BYOC-Bereitstellung von Openflow durch Snowflake ist darauf ausgerichtet, Kunden dort zu treffen, wo sich ihre Daten befinden. Es erschließt ausgefeilte Data-Engineering-Funktionen bei gleichzeitiger Wahrung der Datenhoheit und Kontinuität über viele Systeme hinweg. Mit BYOC übernimmt Snowflake die schwere Last der Verwaltung der Openflow-Bereitstellung und der Laufzeiten, die in der Kundeninfrastruktur gehostet werden. Wir vereinfachen Aspekte wie Beobachtbarkeit und Orchestrierung von Pipelines mit einer einzigen zentralen Ansicht und verbinden Benutzerfreundlichkeit mit Flexibilität.

Mit einer BYOC-Bereitstellung hilft Snowflake mit folgenden Aspekten:

• Installationskomplexität: Die Details einer bestimmten Cloudumgebung verstehen und dann Infrastructure-as-Code-Assets generieren, die einfach mit einem Cloudplattform-Team geteilt werden können, was die Bereitstellung erheblich vereinfacht. 

• Beobachtbarkeit der Integration: Bereitstellung visueller Anleitung für Ihre Integrations-Pipelines mit detaillierter DAG-Ansicht und Lineage. 

• Sicherheit: Bereitstellung erweiterter Sicherheitsfunktionen, darunter Authentifizierung, präzise Autorisierung, Verschlüsselung während der Übertragung, Secrets Management, AWS PrivateLink und Tri-Secret Secure. 

Der größte Vorteil einer Openflow BYOC-Bereitstellung ist jedoch die Flexibilität, die Snowflake bietet. Hiermit können Unternehmen Pipelines sicher auf die Weise bereitstellen, die mit ihrer bestehenden Architektur und ihrem Netzwerkdesign am besten funktioniert. Sie unterstützt Datenbewegungen von beliebigen Quellen zu beliebigen Zielen und bietet die Freiheit, je nach Unternehmensbedarf neue oder etablierte Infrastrukturen zu nutzen. Anstatt Daten rigide, vorgegebene Pfade hinunterfließen zu lassen – oder in jeder Phase komplexe und teure Workarounds entwickeln zu müssen –, wurde Openflow für leistungsstarke und flexible Pipelines entwickelt. 

Eine vollständige Beschreibung der Anforderungen für eine BYOC-Bereitstellung – vom Sicherheitsmodell und den erforderlichen Berechtigungen bis hin zu den flexiblen Netzwerkoptionen im geführten Bereitstellungsassistenten und mehr – finden Sie in der Openflow-Dokumentation.

Openflow überall

Wir bei Snowflake glauben, dass Unternehmen Datenflüsse nahe an ihren kritischen Datensystemen ausführen müssen, wo auch immer sie sich befinden mögen. Ob Openflow vollständig verwaltet in Snowflake (über Snowpark Container Services*) ausgeführt wird oder Unternehmen beim Schreiben in extern verwaltete Apache Iceberg™-Tabellen hilft – hier liegt die Wahl in den Händen der Benutzer:innen. 

Openflow bietet flexible Rechenressourcen und ermöglicht es Data Engineers, Laufzeitumgebungen (Rechen-Cluster ähnlich Warehouses) auf eine Self-Service-Weise bereitzustellen. Diese Laufzeitumgebungen sind sowohl mit der Benutzeroberfläche für die Ablaufautorisierung als auch mit den Rechenressourcen für die Ablaufausführung integriert. Unabhängig vom Datentyp – strukturiert oder unstrukturiert, Batch oder Streaming – bietet Openflow Unternehmen alles, was sie für die Modernisierung ihrer Datenerfassungsarchitektur benötigen. Sie birgt die Schlüssel zur Unternehmens-KI, ermöglicht nahtloses ETL und revolutioniert die Datenbewegung insgesamt – in Snowflake und darüber hinaus.

Um mit der BYOC-Bereitstellung von Openflow zu beginnen, lesen Sie den Leitfaden für den Einstieg. 

Seien Sie auch am 29. Juli dabei bei Data Engineering Connect: Optimieren Sie Daten-Pipeline-Workflows mit ZeroOps, um zu erfahren, wie Data Engineers mit Snowflake Pipelines vertrauensvoll automatisieren können – ohne betriebliche Gemeinkosten und mit Konzentration auf das, was am meisten zählt.

*derzeit in Private Preview für AWS und Azure