Llevar el motor a los datos: cómo 3 grandes marcas impulsan las analíticas y la IA en lakehouses

Con más acceso a los datos que nunca, las empresas se están dando cuenta de que ofrecer analíticas e inteligencia artificial (IA) fiables a escala nunca ha sido tan difícil. A medida que los data lakes se consolidan como pilares compartidos para la toma de decisiones y las analíticas esenciales del negocio, emergen nuevos desafíos en torno a la fiabilidad, la concurrencia y la previsibilidad de los costes.

Los formatos de datos y de tabla abiertos han abordado parte de este desafío. Al estandarizar cómo se almacenan los datos y cómo se accede a ellos, formatos como Apache Iceberg ofrecen a las organizaciones un mayor control sobre sus datos y crean una base para analíticas interoperables entre motores. Pero la apertura por sí sola no resuelve el problema de las analíticas.

A medida que los datos se extienden por nubes, catálogos y herramientas, a muchos equipos les sigue costando ofrecer analíticas que cumplan las expectativas del negocio. El ajuste del rendimiento, la sobrecarga operativa y los modelos de seguridad fragmentados a menudo se interponen entre los datos sin procesar y la información fiable.

Cada vez más, las organizaciones se replantean su arquitectura de analíticas teniendo en cuenta la eficiencia. La motivación para llevar las herramientas a los datos radica en mantener una única copia gobernada en un almacenamiento abierto, para que los equipos puedan centrarse en extraer valor en lugar de mover o duplicar conjuntos de datos.

Aquí es donde está tomando forma un nuevo enfoque. Basado en formatos de tabla abiertos como Apache Iceberg, con soporte para formatos adicionales como Delta, Snowflake lleva un potente motor de analíticas diseñado para los workloads esenciales para el negocio directamente a los propios datos. En lugar de migrar datos a otro sistema más, los equipos pueden trabajar con todos sus datos donde residen sin sacrificar el rendimiento, la fiabilidad o la confianza en los costes.

Por muy interesante que sea este enfoque en principio, es aún más potente verlo en la práctica. En este resumen, destacamos cómo tres clientes (BMW Group, Indeed y WHOOP) están aplicando este enfoque para impulsar las analíticas y la IA en todo su patrimonio de datos y transformar las arquitecturas de datos abiertas en resultados empresariales medibles.

De la visión a la prueba

Indeed escala el acceso a datos de autoservicio a la vez que reduce los costes en un 43 %

Indeed utiliza un data lake de 52 petabytes que respalda la generación de informes, la experimentación y las analíticas esenciales en toda la empresa. A medida que crecía la demanda de acceso de autoservicio (es decir, la capacidad de leer y escribir en tablas de Apache Iceberg™), el equipo de ingeniería de datos necesitaba una forma de escalar las analíticas sin crear un cuello de botella.

Al convertir su propio data lake de Hive-ORC a Apache Iceberg, Indeed adoptó un enfoque de “escribir una vez, leer en cualquier lugar” alineado con su estrategia de datos abiertos. Snowflake permite a los analistas leer y escribir directamente en tablas de Iceberg y mantiene, al mismo tiempo, los controles de seguridad y gobernanza a través de Horizon Catalog, incluida la seguridad a nivel de columna y el enmascaramiento.

Durante las pruebas internas, Indeed observó costes de consulta entre un 43 % y un 74 % inferiores al usar Snowflake en tablas de Iceberg, en comparación con otros motores de analíticas evaluados en ese entorno. Esta combinación de formatos abiertos, acceso gobernado y analíticas de alto rendimiento permite a Indeed acelerar la experimentación, las analíticas de productos y la generación de información en un lakehouse creado para ser escalado.

WHOOP reduce drásticamente el tiempo de cómputo a la vez que impulsa información sobre la salud en tiempo real

​​WHOOP analiza miles de millones de señales biométricas cada día procedentes de sus dispositivos ponibles para impulsar información para los afiliados, innovación de productos y previsión empresarial. A medida que la empresa crecía, necesitaba una forma de unificar los datos entre sistemas preservando al mismo tiempo una sólida gobernanza para la información sanitaria confidencial.

Al consolidar sus datos en Snowflake y adoptar Apache Iceberg, WHOOP simplificó tanto el acceso como la gestión de los datos, manteniendo al mismo tiempo el control de la seguridad a través de Horizon Catalog. La empresa descubrió que su nuevo modelo de previsión financiera de IA y aprendizaje automático (ML) se ejecuta 3 veces más rápido y, al reducir la complejidad operativa, el equipo ahora ahorra 20 horas de cómputo cada día.

BMW Group mantiene a 10 000 usuarios conectados a información global a la vez que logra un aumento de la eficiencia del 25 % 

BMW Group opera un gran entorno de datos global a través de su Cloud Data Hub, que reúne datos de casos de uso de fabricación, servicio, cadena de suministro y sostenibilidad en toda la organización. La plataforma abarca más de 6000 conjuntos de datos en 15 dominios empresariales y da servicio a más de 10 000 usuarios mensuales, lo que requiere tanto flexibilidad como una gobernanza coherente a escala.

Para respaldar esta arquitectura de primera categoría, BMW utiliza Apache Iceberg junto con herramientas nativas de AWS para gestionar datos abiertos y distribuidos, e integra Snowflake donde se requieren analíticas rápidas y fiables. Snowflake aporta cómputo de alto rendimiento al patrimonio de datos existente de BMW, lo que habilita analíticas operativas complejas sin interrumpir los sistemas establecidos ni copiar datos innecesariamente.

Este enfoque ha producido resultados medibles.

De la complejidad a la claridad

Aunque BMW Group, Indeed y WHOOP se enfrentaron a presiones diferentes, un patrón común recorre sus historias. Cada una priorizó llevar las herramientas a sus datos para preservar la eficiencia de la arquitectura y mantener una base única, abierta y gobernada. El cambio a formatos de tabla abiertos como Apache Iceberg hizo esto posible, al proporcionar la estructura, la coherencia y la interoperabilidad necesarias para gestionar datos a escala. Snowflake ofreció entonces lo que faltaba: un motor fiable de analíticas e IA que puede ejecutarse directamente sobre esos datos abiertos con funciones destinadas a ayudar a los equipos a gestionar la concurrencia y el coste a medida que el uso aumenta.

​​En lugar de unir múltiples motores y capas de gobernanza, estas organizaciones llevaron Snowflake a sus datos para complementar el trabajo que ya se estaba realizando en Snowflake. Aplicaron un potente motor de analíticas unificado en todos sus patrimonios de datos, trabajando directamente sobre datos de código abierto donde residen y almacenados en Snowflake. Este cambio les permitió moverse más rápido, simplificar las operaciones y ofrecer analíticas e IA fiables sin reestructurar sus plataformas de datos.

En estos ejemplos, aparecen sistemáticamente tres principios básicos de arquitectura:

• Acceder a los datos donde están alojados: Trabaja con los datos dondequiera que residan, incluidos Iceberg, tablas Delta o archivos Parquet, sin moverlos ni duplicarlos.

• Ofrecer alto rendimiento a escala: Respalda workloads concurrentes y esenciales para el negocio con velocidad, fiabilidad en el rendimiento y previsibilidad a medida que aumenta el uso.

• Unificar las analíticas y la IA: Potencia la toma de decisiones de los equipos en toda la organización, independientemente de donde residan los datos, con una única plataforma de analíticas.

Snowflake no sustituyó las arquitecturas abiertas de estas organizaciones, sino que aportó a sus datos el rendimiento y la fiabilidad que necesitaban, y eliminó la disyuntiva entre apertura y confianza operativa. Ayudó a WHOOP a cumplir los acuerdos de nivel de servicio (SLA), a BMW a reducir costes y aumentó el impacto del equipo de datos de Indeed. 

Las siguientes capacidades ilustran cómo los equipos aplican un motor de analíticas listo para producción a los datos abiertos, sin cambiar la ubicación de esos datos.