Was ist Data Mesh? Definition und Prinzipien
Data Mesh bezeichnet einen dezentralen Ansatz zur Organisation von Daten, der viele der Anfangsschwierigkeiten beseitigt, die auftreten, wenn eine Organisation datengestützter werden möchte.
- Übersicht
- Was ist ein Data Mesh?
- Die 4 Grundprinzipien eines Data-Mesh-Ansatzes
- Ressourcen
Übersicht
Heutige Organisationen generieren immer mehr Daten aus einer wachsenden Anzahl von Quellen. Viele haben Mühe, mit der Entwicklung Schritt zu halten, während sie versuchen, schneller mehr Wert aus ihren Daten zu ziehen. In den letzten Jahren hat sich eine Lösung herauskristallisiert: das Data Mesh. Dieser dezentralisierte Ansatz der Datenorganisation erleichtert viele der Anfangsschwierigkeiten, die auftreten, wenn eine Organisation datengestützter werden möchte.
Im Folgenden wird untersucht, was ein Data Mesh ist und wie dieser Ansatz viele der Hindernisse bei der Realisierung eines erfolgreichen Self-Service-Datenprogramms in großem Maßstab beseitigen kann.
Was ist ein Data Mesh?
Ein Data Mesh legt den Schwerpunkt auf ein domänenorientiertes Self-Service-Design für das Datenmanagement. Es stellt einen neuen Ansatz für die Organisation von Datenteams bereit, der die wichtigsten Herausforderungen bei der Skalierung zentraler Datenarchitekturen wie Data Warehouses und Data Lakes angeht.
In einem Data Mesh verwalten die Teams die Daten aktiv innerhalb ihrer spezifischen Geschäftsbereiche. Diese Teams entwickeln und pflegen auch Daten-Pipelines, die Nutzende in der gesamten Organisation mit Datenprodukten versorgen. Jedes Domänen-Datenteam verwaltet unabhängig die Nutzung, Speicherung, Umwandlung und Ausgabe seiner eigenen Daten. Diese Autonomie beruht auf einem starken Engagement für universelle Governance-Standards, die eine konsistente Interoperabilität und Datenstandards in allen Domänen und Datenprodukten gewährleisten.
Die 4 Grundprinzipien eines Data-Mesh-Ansatzes
Der Data-Mesh-Ansatz markiert einen bedeutenden Paradigmenwechsel, und eine erfolgreiche Umsetzung beruht auf vier Grundprinzipien.
1. Domain-driven Ownership: Bei einer herkömmlichen zentralisierten Data-Warehouse-Architektur liegt die Verantwortung für die Daten bei dem Data-Warehouse-Team. Der Data-Mesh-Ansatz überträgt stattdessen die Verantwortung für die Daten an die Domänen-Teams. Diese Teams erfassen, bereinigen, transformieren, verwalten und kontrollieren nun Daten, um fertige Datenprodukte zu schaffen, die sie bei Bedarf für andere Teams freigeben können. Diese Struktur funktioniert, weil die Domänen-Teams die Daten ihres Geschäftsbereichs am besten kennen und sie daher am effizientesten verwalten können. Folglich steigert die Übertragung der Datenverantwortung an die Domänen-Teams die Daten-Agilität des Unternehmens.
2. Daten als Produkt: Organisationen sollten Daten als die „Produkte“ und die Menschen, die sie nutzen, als „Kund:innen“ betrachten, um einen nutzerzentrierten und wertorientierten Ansatz für die Datenverwaltung zu fördern. Die Domänen-Teams entwickeln diese Produkte nicht nur, sondern pflegen sie auch, um Genauigkeit, Aktualität und hohe Qualität zu gewährleisten.
3. Self-Service-Infrastruktur: Ein erfolgreicher Data-Mesh-Ansatz beruht auf einer gemeinsamen Plattform und einem benutzerfreundlichen Toolset, das auch für diejenigen zugänglich ist, die nicht über eine technische Dateninfrastruktur verfügen. Domänen-Teams müssen ihre Datenprodukte eigenständig entwickeln und pflegen. Ohne eine Self-Service-Infrastruktur sind Domänen-Teams von begrenzten Infrastruktur-Ressourcen abhängig und verfügen nicht über die nötigen Werkzeuge, um wirklich die Verantwortung für ihre Daten zu übernehmen.
Ein Data Mesh lässt sich effektiver als ein herkömmliches Framework skalieren, da es kein zentralisiertes Data-Engineering-Team erfordert, das über vollständiges Domänen-Wissen verfügt. Domänen-Teams bringen ihr Fachwissen ein. Dieser dezentrale Ansatz erleichtert die schnelle Skalierung und ermöglicht den unmittelbaren Zugriff auf verwertbare Daten.
4. Föderierte Governance: Bei einem dezentralen Data-Mesh-Ansatz ist die Aufrechterhaltung konsistenter Zugriffskontrollen und des Datenschutzes nach wie vor von entscheidender Bedeutung. Bei einem herkömmlichen zentralisierten Ansatz liegt die Verantwortung für die Datenqualität bei den Data-Warehouse-Teams. Diese Konstellation führt zu Problemen, da diese Teams oft nicht mit den Daten der Quellteams vertraut sind. Die Umstellung auf ein dezentrales Data Mesh verbessert die Datenqualität, indem die Verantwortung für die Pflege hochwertiger Daten denjenigen übertragen wird, die am besten mit ihnen vertraut sind.
Eine föderierte Governance legt Metadaten- und Dokumentationsstandards fest, die jede Domäne auf ihre Datenprodukte anwendet. Governance gewährleistet auch die nahtlose Integration von Datenprodukten aus verschiedenen Domänen. Es ist wichtig, ein Gleichgewicht zwischen der Einhaltung globaler Governance-Richtlinien und der Freiheit für einzelne Domänen-Teams zu finden, diese Standards bei der Erstellung und Freigabe ihrer Datenprodukte zu interpretieren und umzusetzen.
