Snowflake Postgres vereint Ihre Apps, Analytics und KI

Jedes Unternehmen bewegt sich in zwei Welten. In der einen verarbeiten Ihre Apps Bestellungen, verfolgen Ereignisse und bedienen Kund:innen in Echtzeit. In der anderen deckt Ihre Analytics-Plattform Erkenntnisse auf, trainiert Modelle und treibt KI an. Dazwischen liegt ein verworrenes Chaos aus Extract, Transform, Load (ETL)-Pipelines, Batch-Jobs und Drittanbieter-Tools, deren Wartung ein Vermögen kostet. 

Nun schließt Snowflake Postgres diese Lücke. Auf dem Snowflake Summit haben wir Folgendes angekündigt:

• Data Mirroring: Always-on-Replikation zwischen Postgres und Snowflake (bald in Public Preview) 

• Postgres für Ihren Data Lake: Eine flexiblere Möglichkeit, Postgres mithilfe offener Formate wie Iceberg mit Analytics zu synchronisieren (bald allgemein verfügbar) 

Sie bieten eine nahtlose Verbindung zwischen Transaktions- und Analysedaten, ohne dass komplexe Pipelines erforderlich sind.

Lösung für das Infrastrukturproblem Nr. 1

Kund:innen berichten uns immer wieder, dass das Verschieben von Daten zwischen OLTP- (Online Transaction Processing) und OLAP-Datenbanken (Online Analytical Processing) die mühsamste Infrastrukturaufgabe in ihrer Datenlandschaft ist. Die sichtbaren Kosten wie ETL-Lizenzen, Pipeline-Rechenressourcen und Konnektorgebühren sind nur die Spitze des Eisbergs. Darunter lauern Dateninkonsistenzen, Governance-Risiken, für die Wartung verschwendete Entwicklerstunden und verzögerte Entscheidungen aufgrund veralteter Daten.

Im Zeitalter von KI-Agenten und Echtzeit-Apps sind Sie mit diesem Ansatz immer einen Schritt im Rückstand. Ihr Betrugsmodell kann die heutige Bedrohung nicht mit dem Batch-Load von letzter Nacht erkennen. Ihre Pricing-Engine kann nicht mit einer Verzögerung von sechs Stunden optimieren.

Mit Snowflake Postgres haben wir einen grundlegend anderen und radikal einfacheren Ansatz für die gemeinsame Nutzung von Postgres und Snowflake entwickelt.

Zwei neue Wege zur Verbindung Ihrer Daten: Always-on Data Mirroring und Open-Format Data Lake-Integration

Powered by unserer Open Source-Erweiterung pg_lake können Sie nun zwischen Always-on Data Mirroring und flexibler Open-Format Data Lake-Integration wählen, um Transaktions- und Analysedaten nahtlos zu verbinden.

1. Data Mirroring: „Set it and forget it“-Datenreplikation

Data Mirroring bietet eine Replikation mit geringer Latenz zwischen Postgres und Snowflake. Sobald Sie einen Mirror erstellen, pflegt Snowflake Zieltabellen, die den aktuellen Zustand ihrer Quelltabellen widerspiegeln, einschließlich Schemaänderungen und neuer Tabellen, die Sie in gespiegelten Schemata erstellen.

Richten Sie es mit wenigen Klicks über Snowflake CoCo, die Snowsight-Benutzeroberfläche oder einen einzigen SQL-Befehl ein. Das war’s. Nur Ihre Daten, die dorthin fließen, wo sie benötigt werden. Sehen Sie es sich in dieser Demo an:

Zu den wichtigsten Vorteilen von Data Mirroring gehören:

• Keine zu verwaltende Infrastruktur: Mirrors laufen vollständig innerhalb von Snowflake. Es muss kein externer CDC-Dienst bereitgestellt, kein Konnektorprozess überwacht und kein zusätzlicher Anbieter verwaltet werden.

• Stets aktuelle Lesevorgänge: Jede gespiegelte Tabelle enthält eine $live-Ansicht, die bereits angewendete Daten mit laufenden Änderungen kombiniert. So sehen Leser:innen jede festgeschriebene Quelländerung innerhalb von Sekunden.

• Transaktionskonsistenz: Änderungen aus einer einzigen Quelltransaktion erscheinen gemeinsam auf dem Ziel. Tabellenübergreifende Beziehungen (wie Fremdschlüssel) bleiben intakt, sodass Ihre nachgelagerten Joins und Berichte korrekt bleiben.

• Integrierter Änderungsverlauf: Jede gespiegelte Tabelle erhält automatisch einen siebentägigen Änderungs-Feed ($changes), der Einfügungen, Aktualisierungen und Löschungen offenlegt und sowohl von Snowflake als auch von Postgres abgefragt werden kann. 

• Hoher Durchsatz bei jeder Skalierung: Die Replikation verwendet eine optimierte Apply-Strategie, die teure Full-Table-Scans überspringt, sodass die Performance auch bei wachsenden Datenmengen hoch bleibt.

Data Mirroring ist besonders nützlich für Teams, die sich keine Gedanken mehr über Datenbewegungen machen möchten. Sie richten es einmal ein, und Ihre OLTP- und OLAP-Systeme bleiben automatisch, kontinuierlich und zuverlässig synchron. Und Data Mirroring wird bald auch in die andere Richtung funktionieren: Das Mirroring von Snowflake zu Postgres wird noch in diesem Jahr eingeführt und schafft eine echte bidirektionale Brücke zwischen Ihren transaktionalen und analytischen Welten.

2. Postgres für Ihren Data Lake: Das Schweizer Taschenmesser für die Datenbewegung

Nicht jeder Anwendungsfall erfordert eine kontinuierliche Synchronisierung. Manchmal benötigen Sie mehr Flexibilität. Beispielsweise möchten Sie vielleicht bestimmte Dateien verschieben, gemeinsam genutzte Tabellen in offenen Formaten erstellen oder Daten auf dem Weg zu Snowflake transformieren.

Postgres für Ihren Data Lake bietet Ihnen diese Flexibilität:

• Dateiverschiebung: Übertragen Sie Dateien in beide Richtungen zwischen Postgres und Snowflake über interne Snowflake-Stages oder externen Objektspeicher.

• Gemeinsam genutzte Apache Iceberg™-Tabellen: Erstellen Sie Iceberg-Tabellen in offenen Formaten, die sowohl von Postgres als auch von Snowflake gelesen werden können. Das bedeutet: eine Tabelle für zwei Systeme und keinerlei Duplizierung.

• Transformieren während der Datenbewegung: Wenden Sie SQL-Transformationen – Filter, Joins, Aggregationen – an, während sich die Daten zwischen Postgres und Snowflake bewegen. 

Dies bietet Entwickler:innen die volle Postgres-Erfahrung, die sie schätzen, sowie native Interoperabilität mit offenen Standards wie Iceberg und Parquet. Dies ist für Teams gedacht, die mehr Kontrolle darüber haben möchten, wie, wann und welche Daten verschoben werden.

Das Ergebnis: Eine Plattform, null Pipelines

Zusammen bedeuten diese Funktionen, dass Sie für jeden Ihrer Workloads den richtigen Ansatz wählen können.

Echte Ergebnisse: Unternehmen eliminieren bereits Pipelines

Ericsson: Von 48 Stunden Verzögerung auf wenige Minuten

Das Foundation Data Team von Ericsson sammelt Software-, Hardware- und Lizenzdaten aus jedem Kundennetzwerk weltweit. Mehrere nachgelagerte Teams – von der KI bis zum Kundensupport – sind auf diese Daten angewiesen. Zuvor waren die Daten in vier Datenbank-Altlasten gefangen, die durch Pipelines verbunden waren, deren Synchronisierung bis zu 40 Tage dauerte.

Durch die Konsolidierung auf Snowflake Postgres konnte Ericsson diese Pipelines vollständig eliminieren. Ihre Kundensupport-Plattform, bei der die Ticketerstellung davon abhängt, genau zu wissen, was in der Praxis eingesetzt wird, konnte die Datenverzögerung von 48 Stunden und die Verarbeitungszeit von 12 Stunden auf unter eine Stunde (End-to-End) reduzieren. Jetzt greift jedes Team über die Sharing-Ebene von Snowflake auf dieselben vertrauenswürdigen Daten zu.

SimCorp beschleunigte die Datensynchronisierung um das 10-Fache

SimCorp liefert Investment-Software an die weltweit führenden Finanzinstitute und verwaltet dabei umfangreiche Daten zu Finanzinstrumenten aus mehr als 40 Jahren. Um diese Größenordnung zu bewältigen, betrieb das Unternehmen separate Postgres- und Snowflake-Umgebungen mit individuellen Abgleichprozessen, die stundenlange Datenübertragungen zwischen den Systemen erforderten.

Mit Snowflake Postgres wurde diese Komplexität beseitigt. Snowflake Postgres macht Abgleichcode überflüssig, optimiert die Abläufe und reduziert den Overhead.

Die Auswirkungen waren enorm. Ihr Market-ID-Service, der Börsencodes standardisiert, um einheitliches Tracking und Reporting zu gewährleisten, reduzierte die Synchronisierungszeit um das 10-Fache – von mehreren Stunden auf unter 20 Minuten. Gleichzeitig sind ihre geschäftskritischen Risikomodelle und Credit-Spread-Kurven, mit denen Investment-Teams das Marktrisiko quantifizieren können, durch KI und Data Sharing nun für globale Kund:innen sofort verfügbar.

Mit Blick auf die Zukunft baut SimCorp auf dieser Grundlage auf, um über seine Datenplattform ein intelligentes Load Balancing zwischen Postgres und Snowflake zu ermöglichen. Diese Entwicklung ebnet den Weg für eine neue Generation von Anwendungen, Powered by integrierte transaktionale und analytische Daten – für schnellere Erkenntnisse, verbesserte Skalierbarkeit und bessere Ergebnisse für Kund:innen weltweit.

Warum Snowflake Postgres anders ist

Die meisten Tools zur Datenreplikation schieben einen separaten Dienst zwischen Ihre Datenbank und Ihr Data Warehouse. Dadurch erhalten Sie ein weiteres System, das überwacht werden muss, und einen weiteren Anbieter in Ihrem Stack. Sie behandeln die Datenbewegung als ein externes Problem, das an Ihre Infrastruktur angehängt wird.

Snowflake Postgres behandelt sie als native Funktion. Die Datenbewegung basiert auf pg_lake, unserer Open Source-Postgres-Erweiterung, mit der Postgres direkt in den Objektspeicher schreiben kann – dieselbe Ebene, aus der Snowflake liest. Es gibt keine Zwischenschicht. Nur Postgres und Snowflake, die nativ zusammenarbeiten.

Für Sie bedeutet das:

• Keine neuen Anbieter, die Sie evaluieren, bezahlen und verwalten müssen

• Keine neue Infrastruktur, die Sie bereitstellen und überwachen müssen

• Keine neuen Fähigkeiten, die Sie erlernen müssen – es ist Standard-Postgres und Standard-Snowflake, basierend auf offenen Standards

• Keine Datenverzögerung, die Ihre KI-Agenten und Echtzeit-Apps beeinträchtigt

Und wenn Sie bereits Snowflake-Kund:in sind, können Sie diese transaktionalen Workloads über Ihr bestehendes Committed Spend abwickeln, ohne dass ein neuer Vertrag erforderlich ist.

Wenn transaktionale und analytische Daten eins sind, arbeiten KI und Apps mit den aktuellsten Fakten. Agenten sehen die neuesten Transaktionen in nahezu Echtzeit. Preismodelle basieren auf aktuellen Daten. Die Betrugserkennung erfasst Bedrohungen in dem Moment, in dem sie auftreten. Dashboards spiegeln die aktuelle Realität wider, nicht die von gestern.

Starten Sie noch heute

Die Data Mirroring von Postgres zu Snowflake ist in Kürze in Public Preview verfügbar. Postgres für Ihren Data Lake ist in Kürze allgemein verfügbar. Sehen Sie sich diese Ressourcen an, um loszulegen:

• Getting Started with Snowflake Postgres

• Quickstart: Sync data with Iceberg and pg_lake

• pg_lake auf GitHub

• Datenverschiebung mit Snowflake Postgres

Zukunftsgerichtete Aussagen: Dieser Beitrag enthält zukunftsgerichtete Aussagen über zukünftige Produktangebote, die keine Lieferverpflichtungen darstellen. Die tatsächlichen Ergebnisse können abweichen. Weitere Informationen finden Sie in unserem jüngsten 10-Q-Formular.