Nuova configurazione automatica di Snowpipe: crea pipeline di ingestion con CoCo in un solo prompt

Oggi annunciamo la disponibilità generale della configurazione automatica di Snowpipe con Snowflake CoCo, che consente ai team di passare da file non elaborati che arrivano nel cloud storage a una tabella Snowflake standard o a una tabella Apache Iceberg™ gestita da Snowflake a caricamento continuo, in un’unica conversazione in linguaggio naturale. CoCo esegue automaticamente il campionamento dei file, deduce lo schema, crea la pipeline e verifica che i dati si carichino come previsto, in modo che una nuova fonte non debba attendere in coda al team di data engineering. Per saperne di più o per iniziare, visita la documentazione sulla configurazione automatica di Snowpipe.

Le organizzazioni hanno sempre più bisogno che le proprie applicazioni e agenti AI agiscano sui nuovi dati non appena vengono generati, ma ogni nuova fonte deve ancora essere collegata prima che chiunque possa utilizzarla. Pensa a un team mobile che lancia una nuova applicazione. I primi giorni di dati sull’utilizzo sono spesso quelli più importanti. Mostrano se le persone trovano le nuove funzionalità e cosa correggere prima della build successiva. I dati iniziano ad arrivare immediatamente, come file di clickstream che arrivano in un bucket Amazon S3 ogni pochi minuti. Lo stesso orologio scorre per un team di sicurezza che ricostruisce un incidente attraverso i log delle applicazioni, un produttore che osserva i dati dei sensori di una nuova linea di produzione o un team finance che integra le esportazioni giornaliere di un partner. Ognuno di questi flussi finisce come file nel cloud storage, e il suo valore dipende da quanto rapidamente qualcuno possa interrogarlo.

Snowpipe, il servizio di caricamento continuo di Snowflake, è stato creato per questo tipo di dati. In genere, recupera ogni nuovo file entro pochi minuti dal suo arrivo nel cloud storage, su compute serverless gestito da Snowflake. Ciò che di solito frena i team è il lavoro da svolgere prima del primo caricamento. Qualcuno deve esaminare i file per scegliere le opzioni di formato, poi creare l’integrazione di storage, lo stage, la tabella e la pipe. Il team cloud deve anche configurare un ruolo IAM, una trust policy e le notifiche di evento che segnalano a Snowpipe l’arrivo di un file. Finché questi passaggi non sono completati, passano i giorni più importanti con i dati che restano in un bucket che nessuno può interrogare.

La configurazione automatica di Snowpipe, disponibile in Snowsight, CoCo Desktop e CoCo CLI, consente a chiunque disponga delle autorizzazioni corrette di collegare direttamente una nuova fonte, senza attendere un data engineer. Per impostazione predefinita, CoCo richiede la tua approvazione esplicita prima di apportare modifiche e, una volta completata la configurazione, Snowpipe continua a far fluire i dati molto dopo la fine della sessione di CoCo.

Con questa funzionalità, puoi:

• Partire da un percorso di cloud storage: Indica a CoCo i file in Amazon S3, Azure Blob Storage o Google Cloud Storage, e questo rileva il formato e propone uno schema.
• Lasciare che Snowflake gestisca la configurazione AWS: Approva una richiesta temporanea di delega IAM AWS a tempo limitato, e Snowflake crea il ruolo di storage, la trust policy e le notifiche del bucket, senza dover condividere chiavi di accesso AWS.
• Mantenere la tua infrastruttura come codice su qualsiasi cloud: CoCo scrive il codice Terraform per l’intera pipeline, incluse le tabelle Iceberg, pronto per la revisione abituale del tuo team.
• Caricare i dati in tabelle Apache Iceberg aperte: Scegli una tabella Iceberg, e Snowflake e qualsiasi motore compatibile con Iceberg possono leggere gli stessi dati.
• Verificare che la pipeline funzioni: CoCo verifica che i file raggiungano la tabella e segnala eventuali errori di caricamento.

Il team mobile inizia con una sola frase:

In Snowsight, il team può anche iniziare da Ingestion » Add Data selezionando Set up Snowpipe with CoCo. In entrambi i casi, CoCo chiede dove devono arrivare i dati e quale delle quattro opzioni di configurazione si adatta al tuo team: accesso temporaneo su Amazon S3, Terraform per l’intera pipeline, il tuo accesso cloud esistente oppure oggetti Snowflake più file di configurazione cloud.

Successivamente, esegue il campionamento dei file per rilevare il formato, come CSV, JSON, Parquet, Avro, ORC o XML, e propone nomi di colonna e tipi di dati.

CoCo riutilizza integrazioni di storage, stage e formati di file compatibili. Se una pipe copre già gli stessi file, CoCo lo segnala e attende la tua decisione, così non carichi i dati due volte. Ogni istruzione viene eseguita con il tuo ruolo Snowflake attivo e, per impostazione predefinita, CoCo mostra l’SQL e richiede la tua approvazione prima di creare o modificare qualsiasi oggetto Snowflake.

I file arrivati prima che la pipe esistesse non vengono lasciati indietro: CoCo propone di caricare subito gli ultimi sette giorni e può eseguire un caricamento unico per tutto ciò che è più vecchio. Se l’app inizia a inviare nuovi campi, CoCo può attivare l’evoluzione dello schema in modo che diventino nuove colonne, chiedendo prima conferma su una tabella esistente.

Il bucket del team mobile si trova su Amazon S3, quindi utilizza la delega temporanea IAM AWS per concedere a Snowflake autorizzazioni limitate e a tempo determinato per la configurazione:

• CoCo prepara la richiesta: Richiede solo ciò che serve per la configurazione: l’accesso alle notifiche su un bucket e l’autorizzazione a creare o aggiornare il ruolo di storage utilizzato da Snowpipe, con un permissions boundary che limita ciò che quel ruolo può fare.
• Decidi tu nella AWS Management Console: Esamina ogni autorizzazione richiesta, poi consentila, negala o inviala al tuo amministratore AWS per l’approvazione.
• Snowflake configura ciò che hai approvato: Crea il ruolo di storage e la trust policy. Una volta che CoCo crea la pipe con l’SQL che approvi, Snowflake aggiunge la regola di notifica della pipe e lascia inalterate le regole esistenti del bucket.

AWS CloudTrail registra ogni azione di configurazione che Snowflake esegue con il ruolo delegato, e la cronologia query di Snowflake mostra ogni istruzione eseguita da CoCo con il tuo utente e ruolo.

I team che distribuiscono risorse cloud tramite codice possono far preparare a CoCo la configurazione come codice, su AWS, Azure e Google Cloud. Per le tabelle standard e Iceberg, CoCo scrive il codice Terraform per l’intera pipeline, coprendo sia gli oggetti Snowflake che le risorse cloud, compilato a partire dai file campionati. Su AWS, il Terraform mantiene le regole di notifica esistenti del bucket. Il tuo team lo esamina in una pull request e lo distribuisce come di consueto. CoCo offre anche altre due opzioni di configurazione:

• Riutilizzare l’accesso cloud esistente: Mantieni l’integrazione di storage e il ruolo IAM che già utilizzi, e CoCo ti guida nella configurazione delle notifiche.
• Creare oggetti Snowflake e generare file di configurazione cloud: CoCo crea gli oggetti Snowflake con l’SQL che approvi e genera template Terraform, CloudFormation o ARM che il tuo team cloud può distribuire.

Ad esempio:

CoCo Desktop e CoCo CLI possono applicare Terraform e i file di configurazione cloud per tuo conto, utilizzando le credenziali cloud presenti sulla tua macchina e chiedendo conferma prima di ogni applicazione, oppure puoi lasciare la distribuzione al tuo team. In Snowsight, CoCo salva i file in una cartella snowpipe nel tuo workspace.

Se un team di data science desidera gli stessi dati di clickstream in Apache Spark™, richiedi invece una tabella Iceberg:

CoCo configura una tabella Iceberg gestita da Snowflake e la pipe che la alimenta. Snowpipe scrive i dati in formato Parquet, convertendo altri formati durante il caricamento, e Snowflake gestisce i metadati Iceberg, in modo che Spark e altri motori compatibili con Iceberg possano leggere la tabella. Snowflake gestisce anche la manutenzione delle tabelle per le tabelle Iceberg gestite da Snowflake. Puoi anche generare la pipeline Iceberg come Terraform.

Una volta completati accesso e distribuzione, CoCo verifica lo stato della pipe, la consegna delle notifiche e la cronologia dei caricamenti, poi segnala eventuali errori di caricamento. Non devi interrogare tu stesso SYSTEM$PIPE_STATUS o COPY_HISTORY. Se non sono ancora arrivati nuovi file, può guidarti attraverso un file di test.

Per il team mobile, il clickstream dal giorno del lancio è già in una tabella, mostrando quali nuove funzionalità le persone utilizzano e cosa correggere prima della build successiva. Gli stessi dati aggiornati sono pronti per le applicazioni e gli agenti AI che ne dipendono.

Anche il caricamento bulk con CoCo è oggi generalmente disponibile. Quando i file sono già pronti, ad esempio per un backfill, una migrazione o una consegna su richiesta, chiedi a CoCo un caricamento unico, e questo prepara il formato del file e la tabella, esegue COPY INTO sul tuo warehouse e verifica i risultati. Se una richiesta non specifica se caricare una sola volta o in modo continuo, CoCo chiede prima conferma.

Verifica i prerequisiti e i privilegi richiesti nella documentazione sulla configurazione automatica di Snowpipe, poi:

• Apri CoCo in Snowsight, CoCo Desktop o CoCo CLI. In Snowsight, puoi anche selezionare Set up Snowpipe with CoCo nella pagina Ingestion » Add Data.
• Descrivi la tua fonte. Ad esempio: Continuously ingest data from s3://your-bucket/path/
• Scegli un’opzione di configurazione, poi approva ciò che CoCo prepara.
• Lascia che CoCo verifichi i primi caricamenti.

Dopo la configurazione, Snowpipe carica i file su compute serverless, fatturato come utilizzo di Snowpipe. Consulta i costi di CoCo e i costi di Snowpipe per maggiori dettagli. Se sei nuovo su Snowflake, avvia una prova gratuita. Per saperne di più, consulta:

• Configurazione automatica di Snowpipe con CoCo
• Caricamento bulk dei file con CoCo
• Documentazione di Snowflake CoCo
• Delega temporanea IAM AWS

Punta CoCo sulla tua prossima fonte di dati e lascia che Snowpipe continui a caricarla.

Nota: La delega temporanea IAM AWS non è disponibile nelle region AWS GovCloud (USA) o Cina. Le approvazioni cloud e la propagazione delle autorizzazioni possono influire sui tempi di configurazione.