Snowflake Openflow su Snowpark Container Services per flussi di dati zero-ops semplificati

Si prevede che il mondo creerà 181 zettabyte di dati quest'anno - una cifra straordinaria che dimostra quanto sia facile creare dati. Rendere i dati utilizzabili, tuttavia, è un'altra storia.

Per molte aziende, questo inizia con l'integrazione dei dati - unire informazioni provenienti da varie fonti perché coesistano e cooperino in un framework condiviso. Sembra semplice, ma in termini pratici, l'integrazione dei dati è diventata piuttosto complessa. Spesso richiede agli ingegneri di costruire e mantenere pipeline intricate che si estendono su numerose piattaforme e strumenti multipli. In particolare, i team di data engineering si trovano spesso di fronte all'impossibile compromesso tra semplicità e controllo. Se hanno bisogno di pipeline di integrazione altamente controllabili, affrontano una complessità che richiede una gestione significativa dell'infrastruttura. Tuttavia, le soluzioni "semplificate" sono spesso nascoste in una scatola nera, rendendo impossibile tracciare i percorsi dei dati, identificare i problemi di qualità e comprendere i dati, sacrificando così trasparenza e personalizzazione. Oggi, la maggior parte dei clienti risolve questo dilemma dando priorità a uno rispetto all'altro, il che potrebbe contribuire a costi più elevati con uno stack tecnologico complesso e pipeline potenzialmente a rischio. 

Snowflake Openflow, però, è progettato per cambiare tutto ciò portando i flussi di dati direttamente alla porta dei dati, rendendo il movimento dei dati semplice come dovrebbe essere senza rinunciare a flessibilità e controllo. Con due potenti opzioni di distribuzione - una ospitata dal cliente tramite bring your own cloud (BYOC) e l’altra ospitata da Snowflake tramite Snowpark Container Services (SPCS), per un'esperienza completamente integrata - Openflow può soddisfare le esigenze di qualsiasi architettura aziendale. 

Per capire quale distribuzione è giusta per la tua organizzazione, è importante comprendere i benefici e i casi d'uso meglio serviti da ciascuna. Dopo aver trattato la distribuzione BYOC in un post precedente, ora faremo luce sulla nuova opzione ospitata da Snowflake con SPCS, ora disponibile in preview su AWS e Azure. Questa opzione offre un modo semplice e senza operazioni per eseguire flussi di dati nell’AI Data Cloud Snowflake. 

Movimento dei dati senza operazioni: introduzione alle distribuzioni Openflow Snowflake, un'opzione ospitata da Snowflake.

Dalla rapida fornitura alla perfetta interoperabilità con le funzionalità di Snowflake, come Streamlit o Snowflake Intelligence, le distribuzioni Openflow Snowflake sono il proverbiale “easy button” - un'opzione plug-and-play che collega i dati da qualsiasi fonte a qualsiasi destinazione in pochi minuti e con una complessità minima. Per i data engineering esperti, rimuove gli oneri operativi superflui, mentre li potenzia con il potere di un'estensibilità e adattabilità illimitate. Per analisti aziendali e data scientist, mette il potere dell'ingegneria dei dati end-to-end a portata di mano.

Con questa opzione zero-ops, Snowflake gestisce tutta l'infrastruttura — senza provisioning di account cloud extra — con una configurazione di sicurezza e networking semplificata. Il provisioning di un runtime in Openflow è semplice come eseguire qualsiasi altra funzionalità di pipeline di dati in un warehouse Snowflake, rendendo semplici l'integrazione e il movimento dei dati. In questa esperienza gestita, simile a SaaS, Snowflake gestisce il patching, la sicurezza e la scalabilità del servizio containerizzato all'interno di qualsiasi account, presentando infine agli utenti il percorso più rapido e diretto verso il valore. 

Casi d'uso per le implementazioni di Openflow Snowflake

Per aiutare a realizzare la visione di Snowflake di un data engineering end-to-end su un'unica piattaforma, le implementazioni di Openflow Snowflake svolgono un ruolo fondamentale in cinque aree chiave:

• Incorporare dati a fedeltà totale nel livello Bronze: portare dati grezzi da varie fonti direttamente in Snowflake e utilizzare le implementazioni di Openflow Snowflake per estrarre e caricare i dati 

• Arricchire i dati: eseguire pipeline per arricchire tabelle che già esistono all'interno di Snowflake

• Passare dall'ingestion all'insight in un unico posto: costruire applicazioni in cui l'intero ciclo di vita dei dati (ingestion, elaborazione e servizio) avviene all'interno dell'ecosistema Snowflake 

• Trasformare dati grezzi in insight con l’AI: caricare dati non strutturati e poi, ad esempio, utilizzare Snowflake Intelligence per cercare e comprendere meglio, tutto in concerto con i dati strutturati degli utenti

• Utilizzare il reverse ETL: chiudere il cerchio sulla generazione di insight condividendo con sistemi operativi esterni tramite API, infrastrutture di messaggistica, ecc.

Vantaggi chiave

Al centro dell'opzione Openflow con SPCS c'è una semplicità senza pari che gli utenti Snowflake hanno imparato ad amare e aspettarsi; funziona e basta. Non c'è bisogno di gestire l'infrastruttura, configurare il networking o preoccuparsi dei confini di sicurezza tra i sistemi. Gli utenti possono concentrarsi sul realizzare valore dai propri dati piuttosto che guardare costantemente alla parte tecnica. 

Sfruttando le familiari e robuste funzionalità di sicurezza di Snowflake e il modello di controllo degli accessi basato sui ruoli (RBAC), le implementazioni di Openflow Snowflake consentono anche agli utenti di mantenere controlli di governance coerenti in tutto l’ecosistema dati. E poiché la capacità di elaborazione è co-locata con i dati in Snowflake, il deployment SPCS aiuta a ridurre al minimo la latenza di trasferimento dei dati e le spese di uscita tra il cloud provider e Snowflake. Ideali per le trasformazioni sui dati già presenti in Snowflake, le implementazioni Openflow Snowflake portano a tempi di elaborazione complessivi più rapidi e a un utilizzo delle risorse più efficiente, fondamentale per gli sforzi di ottimizzazione dei costi.

Inoltre, una singola fattura Snowflake consolidata elimina quasi del tutto il noioso compito di monitorare le spese su più piattaforme e semplifica l'approvvigionamento e la gestione finanziaria generale. Avere tutto su un'unica fattura rende più facile comprendere l'uso e le spese, mentre le aziende cercano di ottimizzare il totale del costo di proprietà per la loro infrastruttura dati.

La strada giusta per portare i dati dove servono

La scelta tra Openflow BYOC e Openflow con deployment Snowflake non è una questione di quale sia "migliore", ma piuttosto quale implementazione sia giusta per le esigenze specifiche e l'architettura del processo. 

Per aiutare a guidare la decisione della tua organizzazione, considera questo semplice framework, tenendo presente che molte organizzazioni utilizzano entrambe le opzioni per scenari diversi:

• La tua pipeline di dati interagisce pesantemente con i sistemi nel tuo VPC o nell'ambiente on-prem? Se sì, inizia con BYOC per mantenere un'integrazione stretta con la tua infrastruttura esistente.

  • Preprocessing dei dati sensibili: Alcuni clienti devono oscurare i dati sensibili come PII prima di scrivere nei sistemi di destinazione. Questo è facilmente realizzabile con Openflow BYOC.

  • Flessibilità di networking: Topologie di networking più complesse sono meglio allineate con l'implementazione BYOC.

• La destinazione o la fonte principale della tua pipeline è Snowflake e dai valore alla semplicità operativa sopra ogni cosa? In questo caso, le implementazioni Openflow Snowflake sono probabilmente la scelta ottimale, per un'esperienza senza interruzioni e senza operazioni completamente integrata con il tuo ambiente Snowflake.

  • Scenari di Reverse ETL: Estrarre dati da Snowflake come fonte e scriverli su un target diverso è meglio allineato con le implementazioni SPCS.

  • Connettività privata per topologie semplici: Snowflake offre connettività privata in uscita per SPCS, per i clienti della Business Critical Edition.

E non è tutto. Le opzioni di implementazione e runtime sono impostate a livello di pipeline, il che significa che per diverse fonti di dati e requisiti di connettività, puoi beneficiare sia delle opzioni BYOC che delle implementazioni Openflow Snowflake. Openflow semplifica l'integrazione dei dati, incontrandoti dove i tuoi dati risiedono e fornendo gli strumenti necessari per trasformarli in insight azionabili.

Per saperne di più su entrambe le opzioni di distribuzione, visita la documentazione di Snowflake Openflow o contattaci. Ti invitiamo a scoprire come può trasformare la tua strategia di integrazione dei dati oggi.