Portare il motore ai dati: come 3 grandi brand alimentano lakehouse analytics e AI

Con un accesso ai dati maggiore che mai, le aziende stanno scoprendo che fornire analytics e AI affidabili su larga scala non è mai stato così difficile. Man mano che i data lake diventano fondamenta condivise per analytics e decisioni di business critiche, emergono rapidamente sfide legate ad affidabilità, concorrenza e prevedibilità dei costi.

I formati di tabella e di dati open hanno affrontato parte di questa sfida. Standardizzando il modo in cui i dati vengono archiviati e consultati, formati come Apache Iceberg offrono alle organizzazioni un maggiore controllo sui propri dati e creano una base per analytics interoperabili tra motori diversi. Ma l’apertura, da sola, non risolve il problema dell’analytics.

Quando i dati si estendono tra cloud, cataloghi e strumenti diversi, molti team faticano ancora a fornire analytics all’altezza delle aspettative del business. Ottimizzazione delle performance, overhead operativo e modelli di sicurezza frammentati spesso si frappongono tra i dati grezzi e insight affidabili.

Sempre più spesso, le organizzazioni stanno ripensando la propria architettura analytics mettendo l’efficienza al centro. La motivazione a portare gli strumenti verso i dati nasce dall’esigenza di mantenere un’unica copia governata in storage open, così che i team possano concentrarsi sull’estrazione di valore invece che sullo spostamento o la duplicazione dei dataset.

È qui che sta prendendo forma un nuovo approccio. Basato su formati di tabella open come Apache Iceberg, con supporto anche per formati aggiuntivi come Delta, Snowflake porta un potente motore di analytics progettato per workload business-critical direttamente sui dati stessi. Invece di migrare i dati in un ulteriore sistema, i team possono lavorare con tutti i propri dati nel luogo in cui risiedono senza sacrificare performance, affidabilità o controllo dei costi.

Per quanto questo approccio sia entusiasmante in teoria, è ancora più potente vederlo applicato nella pratica. In questa panoramica mostriamo come tre clienti — BMW Group, Indeed e WHOOP — stiano applicando questo approccio per alimentare analytics e AI su tutta la loro data estate e trasformare architetture di dati open in risultati di business misurabili.

Dalla visione alla prova dei fatti

Indeed scala l’accesso self-service ai dati riducendo i costi del 43%

Indeed gestisce un data lake da 52 petabyte che supporta reporting, analytics e sperimentazione mission-critical in tutta l’azienda. Con la crescita della domanda di accesso self-service (i.e., la capacità di leggere e scrivere tabelle Apache Iceberg™), il team di data engineering aveva bisogno di un modo per scalare l’analytics senza creare colli di bottiglia.

Convertendo il proprio data lake da Hive-ORC ad Apache Iceberg, Indeed ha adottato un approccio “write once, read anywhere” in linea con la propria strategia di dati open. Snowflake consente agli analisti di leggere e scrivere direttamente tabelle Iceberg, mantenendo al contempo controlli di sicurezza e governance tramite Horizon Catalog, inclusi sicurezza a livello di colonna e data masking.

Durante i test interni, Indeed ha osservato costi di query inferiori del 43%–74% utilizzando Snowflake su tabelle Iceberg, rispetto ad altri motori analytics valutati nello stesso ambiente. Questa combinazione di formati open, accesso governato e analytics ad alte prestazioni consente a Indeed di accelerare sperimentazione, product analytics e generazione di insight su un lakehouse progettato per scalare.

WHOOP riduce drasticamente i tempi di compute alimentando insight sanitari in tempo reale

WHOOP analizza ogni giorno miliardi di segnali biometrici provenienti dai propri dispositivi indossabili per alimentare insight per i membri, innovazione di prodotto e previsioni di business. Con la crescita dell’azienda, è emersa la necessità di unificare i dati tra sistemi diversi, preservando al contempo una governance rigorosa per informazioni sanitarie sensibili.

Consolidando i dati su Snowflake e utilizzando Apache Iceberg, WHOOP ha semplificato l’accesso e la gestione dei dati mantenendo la sicurezza tramite Horizon Catalog. L’azienda ha riscontrato che il nuovo modello di forecasting finanziario AI/ML gira 3 volte più velocemente e, riducendo la complessità operativa, il team ora risparmia 20 ore di compute ogni giorno.

BMW Group mantiene connessi 10.000 utenti a insight globali ottenendo un +25% di efficienza 

BMW Group gestisce un ampio ambiente dati globale tramite il Cloud Data Hub, che riunisce dati provenienti da casi d’uso di produzione, assistenza, supply chain e sostenibilità in tutta l’organizzazione. La piattaforma comprende oltre 6000 dataset in 15 domini di business e serve più di 10.000 utenti mensili, richiedendo sia flessibilità sia governance coerente su larga scala.

Per supportare questa architettura best-of-breed, BMW utilizza Apache Iceberg insieme a strumenti nativi AWS per gestire dati open e distribuiti, e integra Snowflake dove sono necessarie analytics rapide e affidabili. Snowflake porta compute ad alte prestazioni nella data estate esistente di BMW, abilitando analytics operative complesse senza interrompere i sistemi già consolidati o copiare inutilmente i dati.

Questo approccio ha prodotto risultati misurabili.

Dalla complessità alla chiarezza

Mentre BMW Group, Indeed e WHOOP hanno affrontato pressioni diverse, un pattern comune attraversa le loro storie. Ciascuna ha dato priorità al portare gli strumenti verso i dati per preservare l’efficienza architetturale, mantenendo un’unica base open e governata. Il passaggio a formati di tabella open come Apache Iceberg ha reso possibile questo approccio, fornendo la struttura, la coerenza e l’interoperabilità necessarie per gestire i dati su larga scala. Snowflake ha poi fornito ciò che mancava: un motore di analytics e AI affidabile, in grado di operare direttamente su quei dati open, con funzionalità pensate per aiutare i team a gestire concorrenza e costi man mano che l’utilizzo cresce.

​Invece di assemblare più motori e livelli di governance, queste organizzazioni hanno portato Snowflake ai propri dati per completare il lavoro già in corso in Snowflake. Hanno applicato un unico potente motore di analytics su tutta la loro data estate, lavorando direttamente su dati open in-place e su dati archiviati in Snowflake. Questo cambiamento ha consentito loro di muoversi più rapidamente, semplificare le operazioni e fornire analytics e AI affidabili senza dover riprogettare le proprie piattaforme dati.

In tutti questi esempi emergono con costanza tre principi architetturali fondamentali:

• Accesso ai dati in-place: Lavorare con i dati ovunque risiedano, inclusi Iceberg, tabelle Delta o file Parquet, senza spostarli o duplicarli.

• Offrire alte prestazioni su larga scala: Supportare workload business-critical concorrenti con velocità, affidabilità delle performance e prevedibilità man mano che l’utilizzo cresce.

• Unificare analytics e AI: Potenziare il decision-making dei team in tutta l’organizzazione, indipendentemente da dove risiedano i dati, con un’unica piattaforma analytics.

Snowflake non ha sostituito le architetture open di queste organizzazioni — ha portato le performance e l’affidabilità di cui avevano bisogno direttamente sui loro dati, eliminando i compromessi tra apertura e sicurezza operativa. Ha aiutato WHOOP a rispettare gli SLA, BMW a ridurre i costi e ha aumentato l’impatto del team dati di Indeed. 

Le funzionalità riportate di seguito illustrano come i team possano portare un motore di analytics di livello production sui dati open, senza modificarne la collocazione.