2024年6月、Snowflakeは、組織とIcebergコミュニティに新たなレベルのデータ選択肢、柔軟性、コントロールを提供するPolaris Catalogを発表しました。幅広い読み取りと書き込みの相互運用性とクロスエンジンアクセス制御により、よりオープンで安全なレイクハウスアーキテクチャを実現します。Apache Iceberg™は、オープン標準を中心として広大なコミュニティを構築することで、データモビリティを大幅に向上させました。次のステップは、Icebergを補完するオープンなコミュニティ主導のカタログです。これにより、多くの組織が求めている真にベンダーニュートラルな相互運用性を実現できます。

現在、Polaris CatalogはApache 2.0ライセンスのオープンソースであり、GitHubで公開されています。Snowflakeの新しいサービス、Powered by Polaris Catalogがパブリックプレビューで利用可能になりました。

オープンファイルフォーマットやテーブルフォーマットのオープンソースプロジェクトをサポートする大規模なコミュニティが成長したように、メタデータカタログの標準に関するコラボレーションを行うコミュニティも生まれています。アイデアの多様性とコミュニティへの貢献により、多種多様なツールのカタログが最も相互運用性に優れています。 

Polaris CatalogはApache IcebergのRESTカタログ仕様を実装しており、Apache Doris™、Apache Flink™、Apache Spark™、Daft、DuckDB、Presto、Snowflake、Starburst、Trino、Upsolverなどとの相互運用性をすでに実現しています。また、Alation、ALTR、Atlan、Collibra、dbt Labs、data.world、Dlemio、Confluent、Fivetran、Google Cloud、Immuta、Microsoft、Project Nessie、Salesforceも、Polaris Catalogオープンソースプロジェクトに統合の追加や貢献を予定しています。

Project Nessieは、Gitのようなセマンティクスを備えたApache Iceberg™用のオープンソースインテリジェントメタストアおよびカタログです。Dremioの共同設立者が作成し、2020年にApacheライセンスのプロジェクトとなりました。 

Dremioのチームは、Nessieのさまざまな機能や性能をPolaris プロジェクトに導入することを楽しみにしています。Project NessieのPolaris Catalogへの貢献は、オープンレイクハウスアーキテクチャのための最も堅牢なオープンソースカタログを開発するための包括的なコミュニティを形成するでしょう。1つのプロジェクトでイノベーションを起こすことで、カタログの無秩序な増加を抑制し、より幅広いコントリビューターグループが急速な進歩を推進できるようになります。このパートナーシップにより、技術的な進歩が促進されるだけでなく、Nessieコミュニティにより多くのコントリビューターが参加し、Polarisを取り巻く拡大するエコシステムがさらに強化されます。Nessieエコシステムの詳細については、こちらを参照してください。

「Apache Arrow™の共同設立者であり、Project Nessieのクリエイターであり、Apache Iceberg™に大きく貢献しているDremioの文化にはオープン性が浸透しています。Apacheライセンスに基づくオープンソースとしてのPolaris Catalogの立ち上げに賛同し、その成功に積極的に貢献できることを楽しみにしています。オープンソースのApache Iceberg™カタログとしてProject Nessieを4年以上構築してきた経験があり、カタログレベルのバージョン管理、マルチエンジンサポート、マルチテーブルトランザクション、データ用Gitなどの差別化された機能を、Polaris Catalogやより幅広いコミュニティと共有できることを嬉しく思います。」

—Tomer Shiran氏、Dlemio、共同創業者、CPO

オープンソースに加えて、Snowflakeのお客様向けに、SnowflakeのPolaris Catalogを利用したサービスのパブリックプレビューが開始されました。このサービスは、Polaris Catalogのオープンソース実装を利用しており、Snowflakeを使用していなくても簡単に開始できます。このサービスは、上記の多数のエンジンとともに使用して、クロスエンジンセキュリティでIcebergテーブルへの読み取りと書き込みの両方を行うことができます。

他のベンダーがホストするカタログはオープンソースの仕様から外れるため、ロックインにつながりますが、SnowflakeのPolaris Catalog向けサービスは、現在および将来のPolaris Catalogのオープンソース実装と完全に互換性があるように設計されています。エンドポイントの提供、バグ修正の展開などのサービス実行はSnowflakeが行い、ユーザーはデータの完全ポータブルカタログを入手し、Iceberg RESTカタログ互換ツールで使用できます。

• コミュニティに関する情報や開始ガイドなど、オープンソースプロジェクトの詳細についてはGitHubをご覧ください。
• Polaris Catalogプロジェクトにどのように貢献できるかをご紹介します。
• 最新情報はLinkedInおよびXのPolaris Catalogをご覧ください。
• SnowflakeのPowered by Polaris Catalogサービスの詳細をドキュメントで確認し、このスタートガイドでお試しください。