Snowflake baut Partnerschaft mit Microsoft zur Verbesserung der Interoperabilität durch Apache Iceberg aus

Stand November 2024 ist diese Funktion nun in Public Preview verfügbar. Sie können sich eine Demo ansehen, es ausprobieren und die Dokumentation lesen.

Heute freuen wir uns, eine Erweiterung unserer Partnerschaft mit Microsoft anzukündigen, um eine nahtlose und effiziente Interoperabilität zwischen Snowflake und Microsoft Fabric OneLake zu bieten, die im Laufe des Jahres in Preview erscheint. So können unsere gemeinsamen Kunden mit OneLake in Fabric einen bidirektionalen Datenzugriff zwischen Snowflake und Microsoft Fabric erleben, und zwar mit einer einzigen Kopie der Daten. Unternehmen, die beide Plattformen nutzen, können dies kostengünstiger tun, anstatt Pipelines zu erstellen oder Kopien der Daten auf jeder Plattform zu verwalten. Möglich wird diese Interoperabilität durch das Engagement von Snowflake und Microsoft, die branchenführenden offenen Standards für analytische Speicherformate – Apache Iceberg und Apache Parquet – zu unterstützen.

Dank dieser neuen Integration können Unternehmen ihre Daten kostengünstiger nutzen. So können beispielsweise Daten aus Snowflake über Fabric nahtloser mit Microsoft 365-Apps wie Teams, Excel, PowerPoint und Outlook integriert werden. Und die Daten aus Fabric OneLake können in die Snowflake Data Cloud erweitert werden, um cloudübergreifende KI, Anwendungen, Sharing und Kollaboration sowie erweiterte Analytik zu ermöglichen, neben vielen anderen Workloads.

Um diese Vorteile zu erzielen, werden Snowflake und Fabric diese Funktionen für Kunden jetzt und im weiteren Verlauf des Jahres hinzufügen:

• Snowflake wird Daten im Iceberg-Format in OneLake speichern können (offizielle Preview im Verlauf des Jahres).
• Fabric kann Daten im Iceberg-Format in OneLake speichern – über die Apache XTable-Übersetzung in OneLake.
• Auf Daten, die von einer der Plattformen Snowflake oder Fabric geschrieben wurden, können beide Plattformen zugreifen.
• Snowflake kann Fabric-Datenartefakte in OneLake lesen, die physisch oder virtuell über Shortcuts gespeichert werden.
• Die Daten von Snowflake und Fabric können von einer Vielzahl von Diensten verwendet werden, wie Microsoft 365, Copilot in Microsoft 365, Snowflake Cortex AI, Azure AI Studio, Snowflake Copilot und mehr.

Sehen wir uns ein Beispiel an, wie diese neue Integration funktioniert. Angenommen, Sie arbeiten an einem Kundentreueprojekt, aber eine Kundentreuetabelle wird von einem Team in Snowflake verwaltet, während sich die Vertriebs- und Supportdaten in Microsoft Azure befinden. Anstatt Kopien der Daten auf jeder Plattform zu verwalten, können Sie über beide auf eine einzige Kopie aller in Fabric OneLake gespeicherten Daten zugreifen.

Erstellen Sie zunächst ein externes Volume in Snowflake, das auf Ihr Fabric OneLake-Konto verweist. Hier wird Snowflake die Treuemitgliederdaten im Iceberg-Format speichern. Wenn Sie diese Iceberg-Tabelle von Snowflake aus erstellen, können Sie festlegen, dass Snowflake als Iceberg-Katalog und Fabric OneLake als externes Volume verwendet werden. Während Snowflake mit den Tabellen arbeitet und Daten schreibt, wandelt OneLake die Iceberg-Metadaten automatisch in Delta Lake-Format um, ohne die Parquet-Dateien neu zu schreiben, sodass Fabric-Engines dieselben Tabellen abfragen können.

Mit Fabric OneLake kann Snowflake alle OneLake-Daten im Iceberg-Format auslesen, damit sie von der Snowflake-Engine genutzt werden können. So können Sie von Snowflake aus eine Iceberg-Tabelle erstellen, welche auf die Iceberg-Daten in OneLake verweist, die dann abgefragt werden können. Sie können beispielsweise die LLM-Funktionen von Snowflake Cortex AI verwenden, um die Stimmung von Supportfallnotizen zu berechnen oder Anruftranskripte zusammenzufassen.

Snowflake und Microsoft werden diese neue Integration in den kommenden Monaten gemeinsam entwickeln. Weitere Ankündigungen gibt es beim Snowflake Data Cloud Summit vom 3. bis 6. Juni in San Francisco. Iceberg Tables in Snowflake sind jedoch derzeit in Public Preview verfügbar. Falls noch nicht geschehen, können Sie Iceberg Tables mit diesem Quickstart Guide ausprobieren oder sich eine Demo ansehen, um zu erfahren, wie Iceberg mit der Plattform von Snowflake integriert ist, wie Cortex AI LLM-Funktionen.