Snowflake Horizon Catalogによる高度な組み込みのデータガバナンスとデータディスカバリー
サイロ化により、効果的なガバナンスとディスカバリーの実現が困難
生成AIや大規模言語モデル（LLM）の登場により、企業はアプリやモデルなどのデータアセットから可能な限り多くのビジネスバリューを引き出そうと躍起になっています。残念なことに、これらのデータアセットは、複数のクラウドサービスプロバイダーやソリューション、さらにはさまざまなパートナー、顧客、ベンダーのエコシステムにわたって、それぞれがサイロに閉じ込められていることが少なくありません。サイロが増えると、ディスカバリーと民主化されたアクセスが非常に難しくなり、異なるガバナンスモデルを使用して関連するセキュリティリスクや異なるシステム間でのデータ資産の移動コストを管理することは極めて困難になります。
Snowflake Horizon Catalogを使用してガバナンスとディスカバリーを大規模に簡略化
Snowflakeの中核となるゴールは、データサイロを解消し、すべてのデータをシンプルで一貫性のある方法で利用できるようにすることです。しかし、データに簡単にアクセスできるようにするだけでは不十分です。データを見つけやすくして簡単にコラボレーションできるようにし、また組織のすべてのデータを管理しやすくしなければなりません。これらのインサイトをもとに、私たちはSnowflake Horizon Catalogを構築しました。
Horizonカタログでは、Snowflakeのシンプルさと統一性へのたゆまぬ追求を反映したカタログの構築を目指しました。Horizonカタログの中核は、Snowflake AIデータクラウド（構造化データ、半構造化データ、非構造化データ、モデル、Snowflake Notebook、Streamlit、Snowflakeネイティブアプリ、リストなど）のための統合されたグローバルリポジトリです。このリポジトリ上には、以下の5つのテーマに関する一連の機能が構築されています。
セキュリティ： Horizon Catalogは、強力なネットワークセキュリティ、堅牢なID管理と認証、Trust Centerを通じた継続的なリスクの監視と保護という、強力なセキュリティ基盤の上に構築されています。また、複数のクラウドにまたがった一元的なロールベースのアクセス制御（RBAC）により、データが格納された瞬間から消費されるまで、確実にデータを保護できます。
コンプライアンス： Horizon Catalogは、機密データ検出の自動分類、タグベースのマスキングやダイナミックデータマスキングなどのデータ保護のための粒度の高い認可ポリシー、データ品質モニタリングやデータリネージの可視化などの機能により、データへのアクセスの制御と監査、データの高い整合性、適切な用途でのデータ使用を確保するためのツールをお客様に提供します。
プライバシー： 組織は多くの場合、プライバシーへの配慮からデータの利用を制限しています。合成データ生成、差分プライバシーポリシー、SnowflakeデータクリーンルームなどのHorizon Catalogの高度なプライバシー機能により、プライバシーを保護しながらデータアナリティクスとコラボレーションを行い、新たな可能性を切り開くことができます。
ディスカバリー： ユーザーは、必要なデータ、アプリ、モデルを見つけ、理解し、シームレスにアクセスできなければなりません。Horizon Catalogは、形式や場所を問わず、データを操作するコンテンツ（データ、アプリ、モデル）をシームレスに発見する機能を提供します。
- コラボレーション： Horizon Catalogは、組織の内外にデータを移動することなく、クライアントやサプライヤーとのセキュアなコラボレーションを可能にします。ユーザーは、Snowflakeマーケットプレイスから、サードパーティのデータセット、アプリ、AIプロダクトを使用して自社データのエンリッチメントを行うことで、さらなる活用を実現できます。
Horizon Catalogの構築の動機となった中心的原則は、大規模での使いやすさです。ごく少人数のチームでも、単一のツールセットを通じて非常に複雑なデータ資産の保護とキュレーションを行える必要があります。Horizon Catalogの使いやすさの理由は、次のとおりです。
マルチクラウドでグローバル：データ資産は、パートナー、顧客、ベンダーがそれぞれにデータを保存する場所を含め、さまざまなクラウドやリージョンにまたがって広がる可能性があります。Horizon Catalogは、さまざまなリージョンと3つの主要なクラウド（AWS、Azure、GCP）、規制市場向けのソブリンクラウドにまたがって一貫して機能する、単一のガバナンスとセキュリティのモデルによって、データ資産の管理を支援します。
設計段階での統合：脆弱で信頼性の低いカスタム統合の構築に貴重な時間とリソースを費やしたいと思う人はいません。Horizon Catalogのガバナンス機能、ディスカバリーサーフェス、リクエストワークフローは、設計段階で統合されているため、適用の一貫性と信頼性を確保できます。たとえば、Horizon Catalogのインターナルマーケットプレイスは、ガバナンスとアクセス制御と完全に統合されており、技術ユーザーとビジネスユーザーのどちらに対してもシンプルなセルフサービスメカニズムを提供します。また、Horizon CatalogのTrust Centerは、クロスクラウドのセキュリティの監視を合理化してセキュリティリスクのディスカバリーと対処のための提案を行う、統合された単一ポイントを提供します。
Snowflake Cortex AIの活用：Horizon Catalogは、Snowflake Cortex AIを活用して、以前は手動タスクだったものを自動化し、大幅に強化します。データキュレーションを自動化するために、Horizon CatalogはCortex AIと統合し、オブジェクトと列の説明をインテリジェントに生成します。ユーザーは、AI駆動の自然言語検索を使用して必要なデータを見つけることができます。さらに、Snowflake Copilot、Cortex Analyst、Cortex Knowledge Extensionsを直感的な自然言語インターフェイスを介して使用することで、AIを活用したデータの理解と分析が実現します。
相互運用性：求められているのは、ベンダーロックインを最小限に抑えてオープンテーブルフォーマットでの作業を可能にする柔軟性と、適切なワークロードに最適なツールを選択できる自由を備えたプラットフォームです。Horizon Catalogは、Apache Polaris（Apache Icebergテーブルのオープンソースカタログ）およびSnowflake Open Catalog（Apache Polarisを活用したマネージドサービス）と統合されており、Snowflake内のオブジェクトだけでなく、Snowflake外部のオープンなIcebergオブジェクトもシームレスに管理できます。この統合により、Horizon Catalogのガバナンスとディスカバリーの機能がApache PolarisやSnowflake Open Catalogの他の互換エンジンで作成されたIcebergテーブルにまで拡張され、企業はかつてないレベルのデータの選択肢、柔軟性、制御を利用できるようになります。Snowflake Horizon Catalogパートナーエコシステムは、Horizon Catalogの機能をSnowflakeやIceberg以外にもさらに拡張します。
Horizon Catalogを利用することで、データガバナー、スチュワード、セキュリティ管理者、最高情報セキュリティ責任者は、複数のリージョンやクラウドにまたがるアカウントやアセットを把握、保護、監査できるようになります。同時に、データチームはETLなしでグローバルにデータ、サービス、アプリを発見、アクセス、共有できるようになります。Horizon Catalogは、データ共有（何千ものお客様が組織の内外にまたがってデータを共有し、Snowflakeマーケットプレイスのデータやアプリを調達している）と、データのガバナンスとセキュリティ（何千ものお客様に信頼されている、RBAC、分類、タグ付け、粒度の高いポリシーを提供している）における、Snowflakeがこれまで培ってきたリーダーシップを基盤としています。同時に、Horizon Catalogは、これらの主要なネイティブのガバナンス機能とディスカバリー機能をオープンテーブルフォーマットに拡張し、メタデータ管理システム、クエリエンジン、クラウドインフラストラクチャの相互運用性を強化します。
さらに詳しく
このブログ記事では、Horizon Catalogが構築された理由と、その使いやすさが最新のエンタープライズデータプラットフォームを効果的に管理するのにどのように役立つかを紹介しました。次のブログ記事では、5つのテーマにおけるケイパビリティが企業の目標達成にどのように役立つかについて詳しく説明します。
Snowflake Horizon Catalogの詳細については、以下のリソースをご参照ください。
著者
