¿Qué es un data mesh? Definición y principios
La arquitectura de data mesh es un enfoque descentralizado de organización de datos que alivia muchos de los problemas que surgen cuando una organización intenta adoptar una estrategia más basada en datos.
- Descripción general
- ¿Qué es un data mesh?
- Los cuatro principios básicos del enfoque de data mesh
- Recursos
Descripción general
Las organizaciones de hoy en día generan cada vez más datos que provienen de un mayor número de fuentes. A muchas les ha costado seguir el ritmo y sacar más partido de los datos con mayor rapidez. Una solución que ha surgido en los últimos años es la arquitectura de data mesh. Se trata de un enfoque descentralizado de organización de datos que alivia muchos de los problemas crecientes que surgen cuando una organización intenta adoptar una estrategia más basada en datos.
En este artículo, vamos a ver qué es un data mesh y cómo se pueden resolver con este enfoque muchos de los obstáculos para implementar con éxito un programa de datos de autoservicio a escala.
¿Qué es un data mesh?
En un data mesh, la prioridad es ofrecer un diseño de autoservicio orientado a dominios para la gestión de datos. Propone una nueva manera de organizar los equipos de datos que permite abordar desafíos clave asociados al escalado de arquitecturas centralizadas, como los almacenes de datos y los data lakes.
En un data mesh, los equipos gestionan los datos de sus dominios de negocio concretos de forma activa. Estos equipos también crean y mantienen flujos que proporcionan productos de datos a consumidores de toda la organización. El equipo de datos de cada dominio gestiona de forma independiente el consumo, el almacenamiento, la transformación y los resultados de sus propios datos. Esta autonomía se basa en un firme compromiso con los estándares de gobernanza universales, que garantizan una interoperabilidad y unos estándares de datos uniformes en todos los dominios y productos de datos.
Los cuatro principios básicos del enfoque de data mesh
El enfoque de data mesh supone un gran cambio de paradigma, y el éxito de su implementación depende de cuatro principios.
1. Propiedad basada en dominios: Tradicionalmente, en una arquitectura de almacén de datos centralizada, la propiedad de los datos recae en el equipo del almacén de datos. En cambio, en el enfoque de data mesh, la propiedad de los datos se transfiere a los equipos de cada dominio. Estos equipos pasan a encargarse de ingerir, limpiar, transformar, gestionar y gobernar los datos para crear productos de datos listos para usar que pueden compartir fácilmente con otros equipos según sea necesario. Esta estructura funciona porque los equipos de dominio poseen conocimientos más exhaustivos sobre los datos de su área de negocio y, por tanto, saben gestionarlos con mayor eficacia. Así pues, si se asigna la propiedad de los datos a los equipos de dominio, la gestión de estos en la organización será más ágil.
2. Datos como producto: Las organizaciones deben considerar los datos como “productos” y a las personas que los usan como “clientes”. De esa manera, se fomenta un enfoque de gestión de datos más orientado al valor y más centrado en los usuarios. Los equipos de dominio no solo crean estos productos, sino que también los mantienen para garantizar que sean precisos, estén actualizados y tengan buena calidad.
3. Infraestructura de autoservicio: Para que el enfoque de data mesh sea eficaz, debe basarse tanto en una plataforma común como en un conjunto de herramientas fáciles de usar que sean accesibles incluso para quienes carecen de experiencia técnica en infraestructura de datos. Los equipos de dominio deben crear y mantener sus productos de datos de forma independiente. Sin una infraestructura de autoservicio, los equipos de dominio dependerán de los recursos limitados de la infraestructura y no dispondrán de las herramientas necesarias para tener la verdadera propiedad de los datos.
Un data mesh puede ampliarse de manera más eficaz que un marco tradicional porque no requiere que un equipo centralizado de ingeniería de datos posea todos los conocimientos sobre el dominio. El valor de los equipos de dominio es su experiencia. Con este enfoque descentralizado, escalar y acceder a datos prácticos es más fácil y rápido.
4. Gobernanza federada: En un enfoque descentralizado, como el de data mesh, sigue siendo crucial mantener controles de acceso y protecciones de datos coherentes. En el enfoque tradicional y centralizado, los equipos del almacén de datos son los responsables de la calidad de los datos. Esta disposición genera problemas, ya que esos equipos no suelen tener la misma experiencia con los datos que los equipos de donde proceden. Al pasar a un data mesh descentralizado, la calidad de los datos mejora, ya que las personas encargadas de mantener los datos son las que más familiarizadas están con ellos.
La gobernanza federada establece los estándares de los metadatos y la documentación que cada dominio aplica a sus productos de datos. La gobernanza también facilita la integración fluida de los productos de datos de diferentes dominios. Es fundamental encontrar un equilibrio entre cumplir los estándares de la política de gobernanza global y brindar a cada equipo de dominio la libertad de interpretar e implementar estos estándares cuando creen sus productos de datos y los compartan.
