Snowflake Postgres unifica app, analisi dei dati e AI

Ogni azienda opera in due mondi. In uno, le tue app elaborano ordini, tracciano eventi e servono i clienti in tempo reale. Nell’altro, la tua piattaforma di analisi dei dati genera insight, addestra modelli e alimenta l’AI. Tra i due c’è un groviglio di pipeline extract, transform, load (ETL), processi batch e strumenti di terze parti che costano una fortuna da mantenere. 

Ora, Snowflake Postgres sta colmando questo divario. Al Snowflake Summit abbiamo annunciato:

• Data mirroring: Replica always-on tra Postgres e Snowflake (public preview a breve) 

• Postgres per il tuo data lake: Un modo più flessibile per sincronizzare Postgres con l’analisi dei dati utilizzando formati open come Iceberg (in GA a breve) 

Offrono una connessione fluida tra dati transazionali e analitici, senza richiedere pipeline complesse.

Affrontare il problema di infrastruttura n. 1

I clienti ci dicono costantemente che spostare i dati tra database di online transaction processing (OLTP) e di online analytical processing (OLAP) è l’attività infrastrutturale più complessa e dolorosa del loro data estate. I costi visibili, come le licenze ETL, la capacità di calcolo delle pipeline e le tariffe dei connettori, sono solo la punta dell’iceberg. Sotto la superficie si nascondono incoerenze nei dati, rischi di governance, ore di engineering spese in manutenzione e decisioni rallentate a causa di dati non aggiornati.

Nell’era degli agenti AI e delle app in tempo reale, questo approccio ti lascia sempre un passo indietro. Il tuo modello antifrode non può intercettare la minaccia di oggi con un caricamento batch della notte scorsa. Il tuo motore di pricing non può ottimizzare con sei ore di ritardo.

Con Snowflake Postgres abbiamo sviluppato un approccio radicalmente più semplice e profondamente diverso per utilizzare insieme Postgres e Snowflake.

Due nuovi modi per connettere i tuoi dati: Data mirroring always-on e integrazione del data lake in formato open

Basata sulla nostra estensione open source pg_lake, ora puoi scegliere tra data mirroring always-on e integrazione flessibile del data lake in formato open per connettere senza attriti dati transazionali e analitici.

1. Data mirroring: Replica dei dati “Set it and forget it”

Il data mirroring offre una replica a bassa latenza tra Postgres e Snowflake. Una volta creato un mirror, Snowflake mantiene tabelle di destinazione che riflettono lo stato corrente delle rispettive tabelle di origine, incluse le modifiche allo schema e le nuove tabelle che crei negli schemi sottoposti a mirroring.

Configurarlo richiede pochi clic tramite Snowflake CoCo, l’interfaccia utente di Snowsight o un singolo comando SQL. Tutto qui. Solo i tuoi dati, che scorrono dove devono andare. Guardalo in questa demo:

Tra i principali vantaggi del data mirroring ci sono:

• Nessuna infrastruttura da gestire: I mirror vengono eseguiti interamente all’interno di Snowflake. Non c’è alcun servizio CDC esterno da distribuire, nessun processo di connettore da presidiare e nessun fornitore aggiuntivo da gestire.

• Letture sempre aggiornate: Ogni tabella sottoposta a mirroring include una vista $live che combina i dati già applicati con le modifiche in corso. In questo modo, chi legge vede ogni modifica confermata all’origine nel giro di pochi secondi.

• Coerenza transazionale: Le modifiche provenienti da una singola transazione di origine compaiono insieme nella destinazione. Le relazioni tra tabelle, come le chiavi esterne, restano intatte, così join e report downstream rimangono accurati.

• Cronologia delle modifiche integrata: Ogni tabella sottoposta a mirroring riceve automaticamente un feed delle modifiche di sette giorni ($changes) che espone inserimenti, aggiornamenti ed eliminazioni, interrogabile sia da Snowflake sia da Postgres. 

• Throughput elevato a qualsiasi scala: La replica utilizza una strategia di applicazione ottimizzata che evita costose scansioni complete delle tabelle, così le prestazioni restano elevate anche quando i dati crescono.

Il data mirroring è particolarmente utile per i team che vogliono smettere di preoccuparsi dello spostamento dei dati. Lo configuri una volta e OLTP e OLAP restano sincronizzati automaticamente, in modo continuo e affidabile. E presto il data mirroring funzionerà anche nell’altra direzione: il mirroring da Snowflake a Postgres arriverà più avanti quest’anno, creando un vero ponte bidirezionale tra il mondo transazionale e quello analitico.

2. Postgres per il tuo data lake: il coltellino svizzero dello spostamento dei dati

Non tutti i casi d’uso richiedono una sincronizzazione continua. A volte serve più flessibilità. Ad esempio, potresti voler spostare file specifici, creare tabelle condivise in formato open o trasformare i dati mentre vengono trasferiti a Snowflake.

Postgres per il tuo data lake ti offre questa flessibilità:

• Spostamento dei file: Invia e recupera file tra Postgres e Snowflake tramite stage interni Snowflake o object storage esterno.

• Apache Iceberg™ Tables condivise: Crea Iceberg Tables in formato open che sia Postgres sia Snowflake possono leggere. Questo significa una tabella per due sistemi e zero duplicazione.

• Trasforma i dati mentre li sposti: Applica trasformazioni SQL, filtri, join e aggregazioni, mentre i dati si spostano tra Postgres e Snowflake. 

In questo modo gli sviluppatori ottengono l’esperienza Postgres completa che apprezzano, insieme all’interoperabilità nativa con standard open come Iceberg e Parquet. È pensato per i team che vogliono più controllo su come, quando e quali dati spostare.

Il risultato: un’unica piattaforma, zero pipeline

Insieme, queste funzionalità ti permettono di scegliere l’approccio giusto per ciascuno dei tuoi workload.

Risultati concreti: le aziende stanno già eliminando le pipeline

Ericsson: Da 48 ore di ritardo a pochi minuti

Il team dati della data foundation di Ericsson raccoglie dati su software, hardware e licenze da ogni rete clienti nel mondo. Da questo patrimonio di dati dipendono più team downstream, dall’AI all’assistenza clienti. In precedenza, i dati erano intrappolati in quattro database esistenti collegati da pipeline che richiedevano fino a 40 giorni per sincronizzarsi.

Consolidando su Snowflake Postgres, Ericsson ha eliminato completamente queste pipeline. La loro piattaforma di assistenza clienti, in cui la creazione dei ticket dipende dalla conoscenza esatta di ciò che è distribuito sul campo, è passata da 48 ore di ritardo nei dati e 12 ore di elaborazione a meno di un’ora end-to-end. Ora ogni team accede agli stessi dati affidabili tramite il layer di condivisione Snowflake.

SimCorp ha reso la sincronizzazione dei dati 10 volte più veloce

SimCorp fornisce software per gli investimenti alle principali istituzioni finanziarie del mondo, gestendo un ampio patrimonio di dati sugli strumenti finanziari che copre oltre 40 anni. Per supportare questa scala, l’azienda gestiva ambienti Postgres e Snowflake separati, con processi di riconciliazione personalizzati che richiedevano ore di trasferimento dati tra i sistemi.

Con Snowflake Postgres, questa complessità è stata eliminata. Snowflake Postgres elimina la necessità di codice di riconciliazione, semplificando le operazioni e riducendo i costi operativi generali.

L’impatto è stato significativo. Il loro servizio market ID, che standardizza i codici di borsa per garantire monitoraggio e reporting coerenti, ha ridotto i tempi di sincronizzazione di 10 volte, da diverse ore a meno di 20 minuti. Allo stesso tempo, i loro modelli di rischio mission-critical e le curve credit spread, che consentono ai team di investimento di quantificare il rischio di mercato, sono ora immediatamente disponibili per i clienti globali tramite intelligenza artificiale e data sharing.

Guardando al futuro, SimCorp sta sviluppando questa base per abilitare un bilanciamento del carico intelligente tra Postgres e Snowflake attraverso la sua piattaforma dati. Questa evoluzione sta aprendo la strada a una nuova generazione di app basate su dati transazionali e analitici integrati, con insight più rapidi, maggiore scalabilità e risultati migliori per i clienti in tutto il mondo.

Perché Snowflake Postgres è diverso

La maggior parte degli strumenti di replica dei dati inserisce un servizio separato tra il tuo database e il tuo data warehouse, aggiungendo un altro sistema da monitorare e un altro fornitore al tuo stack. Trattano lo spostamento dei dati come un problema esterno, aggiunto alla tua infrastruttura.

Snowflake Postgres lo considera invece una funzionalità nativa. Lo spostamento dei dati si basa su pg_lake, la nostra estensione Postgres open source che consente a Postgres di scrivere direttamente nell’object storage, lo stesso layer da cui Snowflake legge. Non c’è alcun intermediario. Solo Postgres e Snowflake, che lavorano insieme in modo nativo.

Per te, questo significa:

• Nessun nuovo fornitore da valutare, pagare e gestire

• Nessuna nuova infrastruttura da implementare e monitorare

• Nessuna nuova competenza da apprendere, è Postgres standard e Snowflake standard, basati su standard open

• Nessun ritardo nei dati che comprometta i tuoi agenti AI e le app in tempo reale

E se sei già un cliente Snowflake, puoi alimentare questi workload transazionali con la tua spesa già impegnata, senza bisogno di un nuovo contratto.

Quando i dati transazionali e analitici diventano un tutt’uno, l’intelligenza artificiale e le app operano sulla versione più aggiornata della realtà. Gli agenti vedono le transazioni più recenti in tempo quasi reale. I modelli di pricing operano su dati aggiornati. Il rilevamento delle frodi intercetta le minacce mentre si verificano. Le dashboard riflettono la realtà attuale, non quella di ieri.

Inizia oggi stesso

Il mirroring dei dati da Postgres a Snowflake sarà presto disponibile in public preview. Postgres per il tuo data lake sarà presto in GA. Scopri queste risorse per iniziare:

• Introduzione a Snowflake Postgres

• quickstart: Sincronizza i dati con Iceberg e pg_lake

• pg_lake su GitHub

• Spostare i dati con Snowflake Postgres

Affermazioni riferite al futuro: Questo post contiene affermazioni riferite al futuro su future offerte di prodotto che non costituiscono un impegno alla distribuzione. I risultati effettivi potrebbero differire. Per maggiori informazioni, consulta il nostro ultimo 10-Q.