Apache Polaris™のマネージドサービスであるSnowflakeオープンカタログによるオープンレイクハウスのガバナンス

データレイクやレイクハウスを保有する多くの組織は、セキュリティを強化し運用上の負担を軽減するために、単一のデータコピーに好みのツールを安全に統合できる柔軟性を求めています。ストレージフォーマットとカタログAPIのオープンスタンダードは役立ちましたが、データにセキュリティアクセス制御を適用するための一貫した方法を含め、カタログのオープンスタンダードはまだ必要です。多くのカタログオプションは標準をサポートしていません。そのため、セキュリティがサイロ化されており、さまざまなエンジンに対して複数の場所でアクセス制御が行われています。

このようなセキュリティとガバナンスの課題に対処するため、Snowflakeはコミュニティと協力し、Apache Polaris™（インキュベーション）によるオープンスタンダードを形成しました。この度、Snowflakeオープンカタログの一般提供（GA）が開始されました。Apache Polarisのマネージドサービスとして、Snowflakeオープンカタログは、オープンレイクハウスの統合とセキュリティ強化に役立ちます。組織内のチームは、最終的に、リーダとライターの両方が多数のエンジンに対して一貫したアクセス制御を行い、統制された方法でデータレイク上でコラボレーションできます 。SnowflakeオープンカタログはApache Polarisを利用しており、新しいエンジンの統合や一貫したガバナンスコントロールの適用により、組織の成長やニーズの変化にスムーズに適応することができます。

現在Apache Software Foundationでインキュベーション中のApache Polarisは、2024年7月にPolaris Catalogとしてオープンソース化されました。オープンソース化以降、ドキュメンテーションの改善、バグ修正、新機能の提案などに携わる人が増えてきました。Apache Iceberg™などのApacheプロジェクトと同様に、透明性とベンダーニュートラルなプロジェクトガバナンスは、コミュニティを構築する強力な方法であり、採用者の寿命と選択肢の拡大につながります。

SnowflakeオープンカタログはApache Polarisと同じカタログ実装を使用しているため、ロックインの可能性がある機能の互換性について心配する必要はありません。Apache Polarisプロジェクトの機能の進化に伴い、Snowflakeオープンカタログも進化します。また、Snowflakeオープンカタログでは、Snowflakeマネージドサービスの信頼性、セキュリティ、スケーラビリティ、サポートが得られるため、チームは複雑なセットアップ、メンテナンス、アップデートから解放され、インフラストラクチャーではなくイノベーションに注力できます。

一部のカタログでは、Apache Iceberg RESTカタログAPIの読み取りと書き込みをサポートすることで「オープンフロントドア」が追加されていますが、独自の実装を使用しています。これらのカタログは統合できる多くのエンジンの柔軟性を提供しますが、独自の実装により、必要に応じてカタログを切り替えることが困難になる場合があります。

他のカタログでは、読み取り専用のApache Iceberg RESTエンドポイントをサポートすることで「一方向のフロントドア」を構築し、オープンソース実装を提供しています。しかし、一方通行のフロントドアは柔軟性を阻害し、書き込みに使用できるエンジンが制限されます。また、オープンソース実装には、ベンダーニュートラルな管理のための透明性がありません。 

Apache Polarisは「オープンな双方向フロントドア」を提供し、読み取りと書き込みの両方にさまざまなエンジンを自由に使用できます。接続できるあらゆるエンジンがApache Polarisで定義されているアクセス制御と統合され、データレイクまたはレイクハウス内のすべてのApache Icebergテーブルにまたがる統合されたセキュリティプレーンになります。これらのエンジンのいずれかがテーブルのクエリ、テーブルへの書き込み、または名前空間とテーブルのリストを参照しようとすると、Apache Polarisはまず、それらを実行する権限があるかどうかをチェックします。この場合、Apache Polarisはオペレーションの実行に必要な範囲が限定された一時ストレージ認証情報を提供します。

Apache Polarisによるこれらのメリットに加えて、Snowflakeオープンカタログは、多要素認証（MFA）、複数のクラウドとリージョンでの可用性、ウェブインターフェイスなどのより多くの機能を提供し、より安全で使いやすいものにします。

SnowflakeオープンカタログはSnowflakeのエンジンと統合できますが、必須ではありません。Snowflakeオープンカタログは、Apache Iceberg REST互換エンジンの統制された相互運用性を提供するカタログとして使用できます。

パブリックプレビューで得られたお客様のフィードバックに基づき、このSnowflakeオープンカタログの一般リリースには、企業のセキュリティ要件を満たす次のような新機能が含まれています。

• マルチユーザーサポート：Snowflakeオープンカタログアカウントを管理するための複数のユーザーを作成できるようになりました。

• 多要素認証：Snowflakeオープンカタログアカウントの管理者は、アカウントレベルでMFAを強制することもできます。

• オブジェクトレベルの権限：Apache Polarisは、カタログ、名前空間、またはテーブルレベルでの権限適用範囲をサポートしています。Snowflakeのオープンカタログインターフェースで利用できるようになりました。

• テーブルの詳細：Snowflakeオープンカタログユーザーインターフェイスでテーブルスキーマと権限を確認できるようになりました。

• 請求：Snowflakeオープンカタログアカウントは、Snowflakeの無料トライアル組織で作成できます。トライアル組織で作成されたアカウントは、10秒ごとに50リクエストのバーストレートが許可され、1秒あたり平均5リクエストのレート制限とスロットルが行われます。請求可能なSnowflakeオーガニゼーションで作成されたSnowflakeオープンカタログアカウントには、このレート制限がなく、1か月あたりのリクエスト数に応じて課金されます。Snowflakeオープンカタログは、このサービスを期間限定で無料で提供します。課金の詳細については、ドキュメントを参照してください。

Snowflakeオープンカタログの詳細については、当社のドキュメントを参照するか、チュートリアルで実際にお試しください。Apache Polaris on GitHubの詳細と、プロジェクトに貢献する方法をご紹介します。最新情報は、LinkedInとXでApache Polarisをフォローしてください。