Polaris Catalog ist jetzt Open Source
Im Juni 2024 kündigte Snowflake Polaris Catalog an, um Unternehmen und der Iceberg-Community ein neues Maß an Auswahl, Flexibilität und Kontrolle über ihre Daten zu bieten. Sie ermöglicht offenere, sichere Lakehouse-Architekturen mit breiter Lese- und Schreib-Interoperabilität und motorübergreifender Zugriffskontrolle. Apache IcebergTM hat die Datenmobilität erheblich verbessert, indem es eine riesige Community rund um einen offenen Standard aufgebaut hat. Der nächste logische Schritt ist ein offener, communitybasierter Katalog, der Iceberg ergänzt. Das öffnet die Tür für eine wirklich anbieterneutrale Interoperabilität, die viele Unternehmen wollen.
Polaris Catalog ist ab sofort Open Source unter der Apache 2.0-Lizenz und jetzt auf GitHub verfügbar. Snowflakes neuer Service powered by Polaris Catalog ist jetzt in Public Preview für Snowflake-Kunden verfügbar.
Interoperabilität durch Community
So wie große Gemeinschaften Open-Source-Projekte für offene Datei- und Tabellenformate unterstützen, entsteht auch eine Gemeinschaft, die an Standards für Metadatenkataloge mitarbeitet. Ideenvielfalt und Communitybeiträge schaffen den interoperabelsten Katalog für verschiedenste Tools.
Polaris Catalog implementiert die REST-Katalog-Spezifikation von Apache Iceberg, was bedeutet, dass die Interoperabilität mit Apache DorisTM, Apache FlinkTM, Apache SparkTM, Daft, DuckDB, Presto, SingleStore, Snowflake, Starburst, Trino, Upsolver und mehr bereits ermöglicht. Darüber hinaus haben auch Alation, ALTR, Atlan, Collibra, dbt Labs, data.world, Dremio, Confluent, Fivetran, Google Cloud, Immuta, Microsoft, Project Nessie und Salesforce vor, Integrationen hinzuzufügen oder Beiträge zum Open-Source-Projekt Polaris Catalog zu leisten.
Einbringen der Fähigkeiten von Project Nessie zu Polaris Catalog
Project Nessie ist ein intelligenter Open-Source-Metastore und -Katalog für Apache Iceberg™ mit Git-ähnlicher Semantik. 2020 wurde es von Dremio-Mitgründern gegründet und zu einem Apache-lizenzierten Projekt.
Das Team von Dremio freut sich, die verschiedenen Funktionen und Fähigkeiten von Nessie in das Polaris-Projekt einzubringen. Durch das Einbringen der Fähigkeiten von Project Nessie zu Polaris Catalog wird sich eine inklusive Community bilden, die sich der Entwicklung des robustesten Open-Source-Katalogs für Open-Lakehouse-Architekturen verschreibt. Die Innovation in einem Projekt reduziert die Katalogwucherung und ermöglicht es einer breiteren Gruppe von Mitwirkenden, schnelle Fortschritte zu erzielen. Diese Partnerschaft beschleunigt nicht nur den technischen Fortschritt, sondern bringt auch mehr Mitwirkende in die Nessie-Community und stärkt so das wachsende Ökosystem rund um Polaris weiter. Um mehr über das Nessie-Ökosystem zu erfahren, lesen Sie diesen Beitrag.
„Als Mitbegründer von Apache Arrow™, Schöpfer von Project Nessie und bedeutende Mitwirkende an Apache Iceberg™ ist Offenheit in der Kultur von Dremio tief verwurzelt. Wir freuen uns, die Einführung von Polaris Catalog als Open Source unter der Apache-Lizenz zu unterstützen und freuen uns darauf, aktiv zum Erfolg beizutragen. Mit über vier Jahren Erfahrung beim Aufbau von Project Nessie als Open-Source-Apache Iceberg™-Katalog freuen wir uns, seine differenzierten Funktionen, wie z. B. Versionierung auf Katalogebene, Unterstützung mehrerer Engines, Transaktionen mit mehreren Tabellen und Git für Daten, mit Polaris Catalog und der breiteren Community zu teilen.“
Tomer Shiran
Snowflake Service, unterstützt durch Polaris Catalog, jetzt in Public Preview
Neben Open Source ist Snowflakes Service powered by Polaris Catalog jetzt in Public Preview für Snowflake-Kunden verfügbar. Dieser Service basiert auf der Open-Source-Implementierung von Polaris Catalog und ist eine einfache Möglichkeit für den Einstieg, selbst wenn Sie Snowflake nicht verwenden. Sie können diesen Service mit den vielen oben aufgeführten Engines verwenden, um Iceberg-Tabellen mit engineübergreifender Sicherheit zu lesen und zu schreiben.
Während andere von Anbietern gehostete Kataloge von der Open-Source-Spezifikation abweichen, was zu einer Bindung führt, ist Snowflakes Service für Polaris Catalog darauf ausgelegt, sowohl jetzt als auch in Zukunft vollständig mit der Open-Source-Implementierung von Polaris Catalog kompatibel zu sein. Snowflake kümmert sich um die Ausführung des Dienstes wie die Bereitstellung eines Endpunkts, die Bereitstellung von Fehlerbehebungen und Benutzer erhalten einen vollständig portablen Katalog für ihre Daten, der mit Iceberg REST-Katalog-kompatiblen Tools verwendet werden kann.
Heute noch loslegen
- Auf GitHub erfahren Sie mehr über das Open-Source-Projekt, einschließlich Informationen über die Community und einem Leitfaden für den Einstieg.
- Erfahren Sie, wie Sie zum Polaris Catalog-Projekt beitragen können.
- Folgen Sie Polaris Catalog auf LinkedIn und X, um auf dem Laufenden zu bleiben.
- Erfahren Sie in der Dokumentation mehr über Snowflakes Service powered by Polaris Catalog und probieren Sie ihn in diesem Guide für den Einstieg aus.
Autor:innen
