データメッシュとは：定義と原則

データメッシュアプローチは、大きなパラダイムシフトをもたらします。その導入成功は、4つの基本原則にかかっています。 

1.ドメインドリブンなオーナーシップ： 従来、集中型のデータウェアハウスアーキテクチャでは、データオーナーシップはデータウェアハウスチームに帰属します。データメッシュアプローチでは、データオーナーシップはドメインチームに移ります。ドメインチームは現在、データの取り込み、クリーニング、変換、管理、ガバナンスを実行して完成したデータプロダクトを作成し、必要に応じて他のチームと容易に共有しています。この構造が機能するのは、ドメインチームがビジネス領域のデータについて最も深い知識を持っているためであり、したがって、最も効率的にデータを管理できるからです。つまり、ドメインチームがデータオーナーシップを担うことで、組織のデータアジリティが向上します。

2.プロダクトとしてのデータ： 組織はデータを「プロダクト」として、またデータを使用するユーザーを「顧客」として捉えることが必要で、それによりデータ管理に対するユーザー中心の価値ドリブンなアプローチを推進できます。ドメインチームはこれらのプロダクトを作成するだけでなく、その正確性、最新性、高品質を確保するためのメンテナンスも行います。 

3.セルフサービスインフラストラクチャ： データメッシュアプローチを成功させるためには、共通のプラットフォームと使いやすいツールセットが不可欠です。このツールセットは、データインフラストラクチャの技術的な知識を持たないユーザーでも利用できます。ドメインチームは、独自のデータプロダクトの構築とメンテナンスを独立して行う必要があります。セルフサービスインフラストラクチャがなければ、ドメインチームは限られたインフラストラクチャリソースに依存しなければならず、データを真に所有するためのツールを持つことができません。

データメッシュは、従来のフレームワークよりも効果的にスケーリングできます。なぜなら、一元的なデータエンジニアリングチームがドメイン知識を完全に保有する必要がないからです。ここでは各ドメインチームが専門知識を提供します。この分散型のアプローチにより、迅速なスケーリングが促進され、実用的なデータへのすばやいアクセスが可能になります。

4.フェデレーテッドガバナンス： 分散型のデータメッシュアプローチでも、一貫したアクセス制御とデータ保護の維持は不可欠です。従来の集中型アプローチでは、データウェアハウスチームがデータ品質の責任を担当します。この体制では、データウェアハウスチームがソースチームのデータに精通していないことが多いため、問題が生じます。分散型データメッシュに移行すると、データに精通しているチームがデータを高品質に維持する責任を担当することになり、データ品質が向上します。

フェデレーテッドガバナンスでは、各ドメインが自社のデータプロダクトに適用するメタデータとドキュメント基準を確立します。また、ガバナンスにより、異なるドメインのデータプロダクトをシームレスに統合できます。グローバルなガバナンスのポリシー基準を維持することと、個々のドメインチームがデータプロダクトの作成や共有を行う際に、この基準の解釈や導入を自由に行えるようにすることとの間でバランスを取ることが極めて重要です。