データメッシュデモのまとめ：インターナルマーケットプレイスによるデータサイロの解消

データメッシュは、ボトルネックの除去、データ管理のスケーリング、データから価値を生み出すまでの時間の短縮により、一元化されたデータチームの負担を減らすという約束から、近年注目を集めています。データメッシュは、セルフサービスのデータインフラストラクチャーによって可能となる、データのドメインの分散と製品としてのデータの扱いを重視する社会技術的アプローチです。データソースとコンシューマーが絶えず増加する中、データ管理、アクセス、データシェアリングを拡張するという課題に対処することを目指しています。 

データメッシュのエキスパートであるMatthias Nicola氏は、データメッシュアーキテクチャの探索、構築、運用を通じてSnowflakeの数多くのお客様を支援してきました。これらの取り組みにより、データメッシュが技術的アーキテクチャとしても組織的アプローチとしても魅力的であるという独自の視点を得ることができました。このブログ記事では、当社の最近のデータメッシュデモウェビナーの要点をまとめます。ここでは、Matthiasが、ビジネスを変革し、インターナルマーケットプレイスなどのSnowflakeソリューションに移行できるデータメッシュの可能性について語り、ドキュメント化され統制されたデータ製品をビジネスユニット間で共有できるようにする方法を示します。データメッシュは組織における重要な考慮事項でもありますが、このウェビナーでは、データ製品を管理するためのデータプラットフォーム機能に焦点を当てました。

データのジレンマ：従来のアプローチが不十分な理由 

従来の一元化されたデータ管理チームでは、後を絶たないデータリクエストに対応できないことが多く、これがボトルネックとなり、ビジネスニーズの変化に合わせてスケーリングを行う上での妨げとなります。さらに、中央チームは（マーケティング、製品、販売、その他のビジネスユニットにおける）ドメイン知識の不足に苦慮しており、適切なデータコンシューマーに適切なデータを提供するのに遅延が生じています。それぞれの障害により、データコラボレーションが阻害され、価値を生み出すまでの時間が短縮され、データアジリティが低下します。 

Snowflakeのソリューション：データメッシュの成功に必要な主要機能 

これらの課題を克服するために、多くの先進的な企業がデータメッシュアプローチを採用し、従来の一元化されたデータ管理における組織のボトルネックと制約を軽減しようとしています。データメッシュアーキテクチャは、データ管理へのよりアジャイルでスケーラブルなアプローチの可能性を提供します。これにより、チームは自律性とシームレスなデータシェアリングを実現できます。 

データメッシュの4つの基本原則として、フェデレーション型ガバナンス、ドメイン中心の所有権とアーキテクチャ、製品としてのデータ、セルフサービスインフラストラクチャーが挙げられます。 

Snowflakeプラットフォームは、データメッシュの原則に沿った以下のソリューションと機能を提供します。   

• フェデレーテッドガバナンス：Snowflake Horizonカタログで利用可能な堅牢なガバナンス機能により、さまざまなドメインや環境で一貫したアクセス制御、使用状況の監視、セキュリティポリシーの適用を実現します。  

• ドメインを中心とした所有権：Snowflakeの分散型マルチクラウドアーキテクチャは、さまざまなドメインに個別の環境を提供することで、ドメイン中心の所有権をサポートします。これにより、独立性が高まり、シームレスなクロスドメインデータシェアリングとコラボレーションが可能になります。 

• プロダクトとしてのデータ：ドメインがデータオブジェクト、メタデータ、ガバナンスポリシーをデータ製品としてパッケージ化し、Snowflakeインターナルマーケットプレイスで簡単に公開、発見できるようにし、信頼のおける高品質のデータアセットにいつでもアクセスできるようにします。Snowflakeのデータ製品には、Snowflakeの外部で保存および管理されているデータアセットも含まれます。

• セルフサービスインフラストラクチャ：Snowflakeの使いやすさと外部ソースとの相互運用性により、データアクセスが簡素化され、チームが独立して運用できるようになるため、中央チームへの依存が減り、真のセルフサービスデータインフラストラクチャーが育成されます。

これらの機能は、優れたデータメッシュアーキテクチャの構築と運用に不可欠な基盤となります。 

多くの企業は、多様なドメインにまたがるデータシェアリングを合理化することで、従来のデータサイロを効果的に解消し、より統合されたデータエコシステムを推進しています。Snowflakeは、旅行テクノロジーのグローバルリーダーであるFlixBusなどの企業がデータメッシュの革新的なメリットを最大限に活用するのを支援します。FlixBusは、データメッシュアーキテクチャを導入し、Snowflakeインターナルマーケットプレイスとリスティングを利用しました。Snowflakeインターナルマーケットプレイスは、情報をメタデータ、説明などとともにデータ製品としてパッケージ化する方法です。その後、データシェアリングとデータモビライゼーションにより、フリートオペレーションの改善、需給予測、業績測定、セルフサービスアナリティクスを実現することができました。 

Snowflakeでデータメッシュを成功に導く：よくある質問への回答 

データメッシュは一見複雑に見えますが、必ずしもそうである必要はありません。このライブウェビナーでは、Snowflakeを利用したデータメッシュ実装の具体的な側面について掘り下げることに強い関心が示されました。分かりやすく指針を示すために、最も関心を引いた質問をまとめました。 

Q：データメッシュアーキテクチャで単一または複数のSnowflakeアカウントを選択するにはどうすればよいですか？

単一のアカウントと複数のSnowflakeアカウントのどちらを使用するかは、組織固有のニーズ、課題、法的要件に応じて決定します。単一アカウントまたは複数アカウントのアプローチを決定する際に役立つ考慮事項は次のとおりです： 

• 法的またはセキュリティ上の理由で、ドメインごとにセキュリティ構成とユーザー管理を分けて、ビジネスドメイン間を最大限に分離する必要があるかどうか。

• 事業地域：複数の企業（アジア、米国、欧州などの地域にまたがるチーム）と国際的に活動していますか？あるいは、単一の地域で事業を行っていますか？  

• リージョンごとに異なるクラウドプラットフォーム（AWS、Google Cloud、Azure）で作業し、あらゆるローカリゼーション要件を検討しているビジネスユニット。さらに、クラウドやリージョンにまたがるセキュリティ要件や法的要件はありますか？ 

コストの測定と管理、チームがセキュリティを構成できるようにすることなども考慮する必要があります。よりシンプルで管理しやすいという理由で、単一のアカウントを使用する組織もあります。しかし、より強力なプライバシー、より広範なリージョンやクラウド、明確なセキュリティニーズへの対応を提供するために、複数のアカウントを選択する企業もあります。 

以下の画像に示すように、Snowflakeインターナルマーケットプレイスは、1つ以上のアカウントと進化するアカウントトポロジにまたがってシームレスに機能するため、1つのアカウントでも複数のアカウントでも、ロックインされないことが分かっています。

詳しくはこちらをご覧ください。   

Q：ドメインプロファイルを設定するにはどうすればよいですか？

組織の管理者は、インターナルマーケットプレイスの組織プロファイルを使用してドメインプロファイルを設定できます。組織プロファイルは、データの出所や所有者に関する情報を作成、変更、ドロップ、表示、リストできる通常のSnowflakeオブジェクトです。プロファイルの作成または変更は、ドメイン名、説明、さまざまなドメイン属性（連絡先情報、データ製品へのリクエストのデフォルト承認者など）を含むYAMLファイルを入力として受け取ります。これにより、組織全体のガバナンスを強化しながら、明確なデータ所有権とデータ証明を提供し、信頼、データ品質、データ構造を促進します。 

Q：Snowflakeのデータ製品にはどのようなオブジェクトタイプがありますか？

データ製品には、以下のようなさまざまな種類のオブジェクトを1つ以上含めることができます。 

• データベース

• スキーマ

• テーブル

• ダイナミックテーブル

• 外部テーブル

• JSONやXMLなどの半構造化データ

• ファイルと非構造化ドキュメント（Snowflake外部のストレージバケットに格納されている場合も含む）

• Apache Iceberg™テーブル（Snowflakeの外部に保存されており、AWS GlueやOneLakeなどのカタログで管理されている場合も含む）

• ビュー

• マテリアライズドビュー

• セキュアなユーザー定義関数（UDF）

• Snowflakeネイティブアプリ

• MLモデル

• セマンティックビュー（プライベートプレビュー）

• オンプレミスデータ（S3互換ストレージシステムにファイルとして保存されている場合）

Q：IcebergテーブルとDelta Lakeテーブルをベースとしたデータ製品を作成するにはどうすればよいですか？

たとえばApache Icebergなど、Snowflakeの外部でデータを管理している場合でも、そのIcebergテーブルをSnowflakeで表示し、インターナルマーケットプレイスにデータ製品の一部として含めることができます。これにより、同じデータ製品が同じデータにアクセスできる他のコンピュートエンジンと相互運用できるようになります。 

Q：「データ製品とのチャット」は現在プライベートプレビュー中です。それは何ですか、そしてどのように機能しますか？

Snowflakeは、データコンシューマーが自然言語を使用してデータ製品を操作できるようにする革新的な機能を導入しました。そのためには、データ製品の所有者が、関係、メトリクス、ディメンション、オプションのコメントや同義語など、データの内容と構造を説明するセマンティックビューをリストに含める必要があります。 

その後、セマンティックビューはSnowflake Cortex Analystによって使用されます。Snowflake Cortex Analystは、Snowflake内の構造化データに基づいてビジネス上の疑問を解決するのに役立つ、LLMを利用したフルマネージド機能です。データコンシューマーは、強力な方法でデータ製品を調査できます。自然言語でのクエリは自動的にSQLに変換され、応答が生成されます。生成されたSQLは必要に応じて確認および操作できます。データコンシューマーは、「このデータ製品は何の役に立つか」「このデータ製品にはどんな制限があるか」といったオープンエンドな質問もできます。

データメッシュウェビナー：5つの重要なポイント 

データメッシュウェビナーで得られた5つの重要ポイントと重要なインサイトをご紹介します。 

• データメッシュは、データ所有権を分散し、ビジネスドメインがデータを管理できるようにすることで、従来の一元化されたデータ管理の限界を解消することを目的としています。データメッシュの評価では、社会技術的な実装や機能が自社のビジネス目標と整合しているかを慎重に検討する必要があります。 

• Snowflakeはデータメッシュの原則をサポートするプラットフォームを提供し、スケーラブルで管理されたデータオーナーシップを実現し、データ製品の簡単な共有を促進し、複雑さとコストを削減します。   

• インターナルマーケットプレイスSnowflake内の重要な機能で、ドメインが統制されたデータ製品を社内で公開、発見、共有、使用できるようになります。   

• Snowflakeはドメインチームの自律性を実現し、独自のストレージリソースとコンピューティングリソースを備えた個別の環境を提供し、ドメイン間でのコラボレーションとデータシェアリングの促進も行ないます。   

• Snowflakeは運用のデータ製品プラットフォームの構築と運用の複雑さとコストを軽減し、幅広い機能を備えた統合済みのフルマネージド型のサービスを提供します。

• Snowflakeは広範なツールおよびサービスのエコシステムと統合されており、企業はニーズに合わせてカスタムアーキテクチャを作成できます。    

データメッシュアーキテクチャは、ビジネスドメインを強化し、データシェアリングを促進し、複雑さを軽減することで、組織がデータの可能性を最大限に引き出し、より良いビジネス成果を推進するために役立ちます。しかし、データメッシュの構築と運用には、ビジョン、整合性、技術的能力の組み合わせが必要です。成功を収めるには、さまざまなステークホルダー、ツール、ソリューションを活用する必要があります。Snowflakeプラットフォームは、データメッシュに取り組んでいる企業に強力かつ包括的なソリューションの基盤を提供します。