Snowpipe Streaming e Snowflake CoCo per pipeline in tempo reale, semplici ed economiche

I data engineer dei servizi finanziari affrontano pressioni diverse rispetto alla maggior parte degli altri settori. I mercati si muovono in fretta. I modelli di rischio devono riflettere ciò che accade adesso, non ciò che è accaduto pochi minuti prima. Il rilevamento delle frodi funziona solo quando il segnale arriva prima che la transazione si concluda. Le dashboard in tempo reale devono mostrare dati in tempo reale.

Il problema è che gran parte delle infrastrutture di dati non è stata progettata con questa urgenza in mente. Le pipeline batch a esecuzione programmata funzionano bene per molti workload, ma introducono una latenza che i casi d’uso finanziari non possono permettersi. I team che se ne rendono conto trascorrono spesso settimane a tentare di avviare un’architettura di streaming, salvo poi rallentare a causa della complessità di configurazione molto prima di arrivare a scrivere la logica vera e propria della pipeline. Il tempo che i data engineer dedicano alle impalcature dell’infrastruttura è tempo sottratto ai risultati che contano davvero. E questo overhead si accumula.

È proprio ciò che Snowpipe Streaming High-Performance Architecture e Snowflake CoCo sono progettati per risolvere.

Portare i dati in Snowflake in tempo reale

Snowpipe Streaming High-Performance Architecture è un’API di ingestion diretta che consente ai data engineer di scrivere righe dal codice applicativo in Snowflake utilizzando un SDK Python. Le righe vengono caricate in meno di 10 secondi, con un throughput fino a 10 GB al secondo, e sono immediatamente interrogabili. Non sono previsti passaggi di staging, comandi COPY INTO né livelli di gestione dei file da mantenere.

Per i workload finanziari, in particolare, questo fa la differenza. Eventi di mercato, aggiornamenti dell’order book e record delle transazioni devono muoversi rapidamente e raggiungere un punto in cui analisti, modelli e sistemi di rischio possano agire. Poiché Snowpipe Streaming viene eseguito in modo nativo all’interno di Snowflake, ogni riga che scrive eredita la governance, i controlli di accesso e il lineage già presenti nella tua organizzazione. Non c’è alcun livello di staging da gestire né un sistema separato da far funzionare accanto alla tua piattaforma di analisi dei dati.

Dove perdono più tempo i data engineer? 

L’API non è la parte difficile: lo è arrivare al punto in cui puoi effettivamente utilizzarla.

Prima che venga caricata anche una sola riga, i team devono gestire la configurazione dell’autenticazione, predisporre gli oggetti e i permessi Snowflake giusti, configurare l’ambiente di sviluppo e creare qualcosa per verificare lo stato della pipeline una volta in esecuzione. Nulla di tutto questo è irragionevole, ma rappresenta una mole di lavoro considerevole che si frappone tra la decisione di utilizzare Snowpipe Streaming e il suo utilizzo concreto. È anche una delle principali ragioni per cui le pipeline proof-of-concept si arenano prima ancora di raggiungere la produzione.

Le skill CoCo per Snowpipe Streaming

Snowflake CoCo è un agente di coding AI data-native disponibile in Snowsight, CLI e Desktop. Comprende il tuo ambiente Snowflake, gli oggetti che contiene e il modo in cui servizi come Snowpipe Streaming sono configurati. Prima di eseguire qualsiasi operazione, predispone un piano che puoi esaminare e approvare, lasciandoti il pieno controllo di ciò che viene eseguito.

Skill per iniziare

Sono disponibili due skill nel repository SSv2-AI-Webinar su GitHub, utili per mettere tutto questo in pratica.

La skill ssv2-quickstart esegue l’intera sequenza di configurazione. Crea gli oggetti Snowflake necessari, gestisce l’autenticazione, scrive lo script di ingestion in Python e distribuisce una dashboard di monitoraggio Streamlit in tempo reale, così puoi vedere i dati fluire nel momento stesso in cui la pipeline si avvia. Ciò che normalmente richiede ore di andirivieni tra documentazione e configurazione, CoCo lo gestisce in un’unica sessione guidata. L’intero processo può richiedere appena pochi minuti.

Prompt di esempio per iniziare: ssv2 quickstart or try snowpipe streaming

La skill ssv2-AI-webinar si basa su queste fondamenta. Mostra come collegare una pipeline Snowpipe Streaming in esecuzione alle Cortex AI Functions all’interno di Snowflake, per classificazione degli eventi, estrazione di entità ed enrichment in tempo reale. I dati finanziari che vengono già caricati in pochi secondi possono essere analizzati e utilizzati nella stessa piattaforma, senza doverli spostare altrove.

Prompt di esempio: ssv2 ai webinar or ssv2 webinar demo

Realizzare una manutenzione predittiva end-to-end per le torri di telecomunicazione

Utilizzando la skill disponibile negli SDK Examples, puoi costruire un caso d’uso end-to-end per la manutenzione predittiva delle torri di telecomunicazione. Questo workflow mostra come integrare una pipeline Snowpipe Streaming in esecuzione con le Cortex AI Functions all’interno di Snowflake, abilitando l’analisi dei dati in tempo reale, come la classificazione degli eventi e l’estrazione di entità, direttamente nella piattaforma.

Questa skill configura un cluster Kafka locale, un’applicazione producer che alimenta il topic Kafka, un Kafka Consumer personalizzato che scrive su Snowpipe Streaming e le funzioni AI di Snowflake per prevedere KPI chiave come il tasso di disconnessione delle torri.

Questo esempio fornisce inoltre le best practice per creare un Kafka consumer personalizzato con Snowpipe Streaming SDK, con indicazioni sulle logiche di retry e di gestione degli errori.

Prompt di esempio: snowpipe streaming kafka

Cosa fa CoCo durante il workflow?

Una volta che la pipeline è in esecuzione, puoi porre domande basate sul tuo ambiente reale. Se il throughput risulta inferiore alle attese, puoi chiederne il motivo. Se lo schema degli eventi deve evolvere al variare dei tuoi dati, puoi descrivere ciò che ti serve e CoCo genererà l’SQL per le tue tabelle specifiche. Se a monte arrivano righe malformate, CoCo può aiutarti ad aggiungere la gestione degli errori e a verificarne il funzionamento.

Poiché CoCo mantiene il contesto fin dall’inizio della sessione, non devi rispiegare la tua configurazione ogni volta che si presenta qualcosa. L’intero workflow rimane in un unico posto, senza dover passare da documentazione, strumenti CLI e console Snowflake.