オープンバイデザイン：Icebergおよび相互運用性に対するSnowflakeのコミットメント

Snowflakeでは、オープンデータフォーマットはオープンな相互運用性と組み合わさって初めてその約束を果たすと考えています。Apache Icebergのようなフォーマットは、選択肢を増やし、移植性、さまざまなエンジン、クラウド、ベンダーにわたるコラボレーションを実現するために生まれました。その原則は、私たちにとって深く重要です。

そのため、SnowflakeはIceberg RESTカタログを通じて双方向の相互運用性をすべてサポートしています。Snowflakeが、別の場所で管理されているIcebergテーブルの利用者として動作している場合でも、ダウンストリームシステムのソースとして動作している場合でも、データの使用方法と使用場所はプラットフォームではなくお客様が決めるべきであると、私たちは考えています。

実際の双方向相互運用性の意味

Iceberg RESTカタログは、Icebergメタデータのベンダーに依存しないニュートラルなコントロールプレーンを定義します。オープンに実装することで、専有統合、密結合、特殊なケースロジックなしにシステムを相互運用できます。Snowflakeはこのモデルを両方向でサポートしています。Snowflakeは、Iceberg REST Catalogに準拠した任意のエンドポイントにアウトバウンドをフェデレーションできます。Snowflakeは、Iceberg REST Catalogエンドポイントを通じて独自のIcebergテーブルを公開することもできるため、ダウンストリームシステムは標準のIcebergクライアントを使用してIcebergテーブルを利用できるようになります。 

これは一方通行のドアではありません。対称性とオープン性をサポートすることは慎重な選択です。なぜなら、最終的にオープンな相互運用性を採用することで、摩擦が軽減され、時間が節約されるからです。お客様は、使用されているフォーマットやカタログの非互換性について心配する必要はありません。Snowflakeは、オープンエコシステムをサポートしており、これが相互運用性の新たな標準であると考えています。 

コンシューマーとしてのSnowflake：アウトバウンドのフェデレーション

Snowflakeがアウトバウンドをフェデレートすると、標準に準拠したIcebergプラットフォームとして機能します。お客様は、別のシステムによって運用されているIceberg REST CatalogエンドポイントにSnowflakeをポイントすると、すぐにIcebergテーブルのクエリや書き込みを開始できます。リモートカタログによって修正された認証情報を使用することで、専有アダプタやベンダーロックインを回避できます。

このモデルにより、Snowflakeはカタログ自体の所有権や制御の必要がなく、オープンなIcebergエコシステムに参加できます。これが不可能で、外部ソースへのフェデレーションに制限を加えるならば、オープンな相互運用性の目的はほぼ失われます。これがIcebergの精神を根底から揺るがしています。 

ソースとしてのSnowflake：ダウンストリームフェデレーションの有効化

Snowflakeは、Icebergデータに関してオープン性を競争上のリスクとは見なしていません。Snowflakeでは、これを相互運用性の基礎的要件であると考えています。つまり、Snowflakeはダウンストリームフェデレーションのソースとしての運用をネイティブにサポートしているということです。 

SnowflakeがIceberg REST Catalogを通じてIcebergテーブルを公開する場合、ダウンストリームエンジンは、標準のIcebergメタデータAPIを使用してテーブルの発見、Icebergセマンティクスを使用したデータの読み取りと書き込み、Snowflake Horizon Catalogによって証明された認証情報のセキュアな使用、Snowflakeの実行エンジンに依存しない運用を可能にします。

Iceberg RESTカタログを使用したアウトバウンドフェデレーションをサポートしているため、お客様は任意のプラットフォームにSnowflakeデータを持ち込むことができます。 

現在のランドスケープの明確な展望

以下に、任意のサードパーティIceberg REST Catalogエンドポイントへのアウトバウンドをフェデレーテッドできる製品を明確にまとめます。

オープンフォーマットに関する弊社の立場

私たちの見解はシンプルです。オープンフォーマットはオープンに実装すべきです。相互運用性は双方向である必要があります。お客様は、データの移動や共有の許可を求める必要はありません。我々は今後も、Iceberg、Iceberg RESTカタログ、Apache Polaris、オープンスタンダードに幅広く尽力していきます。また、エコシステム内の他のメンバーに対しても、取り込みメカニズムとしてだけでなく、真の相互運用性の基盤として、オープンフォーマットを同等レベルのオープン性で扱うことを推奨しています。 

オープンデータは、誰もがオープンルールでプレイする場合に最も有効です。

外部エンジンとカタログ経由でSnowflake Icebergテーブルにアクセス：ドキュメント

Snowflake経由でリモート/外部Icebergテーブルにアクセス：ドキュメント