ML Jobs in Snowflake Data Clean Rooms: training e scoring collaborativi su dati multiparte

Finora, eseguire workload ML complessi all’interno di una data clean room significava scontrarsi con un limite. La maggior parte degli ambienti di data clean room è limitata a query SQL o Python a nodo singolo, e raggiunge rapidamente i limiti di memoria con volumi di dati enterprise. I team finivano per considerare le clean room uno strumento di compliance, non un ambiente in cui sviluppare modelli. ML Jobs cambia le regole del gioco. ML Jobs in Snowflake Data Clean Rooms™ è ora in GA.

Ora i data scientist possono portare il loro stack ML Python standard, con training distribuito, ottimizzazione degli iperparametri, pacchetti custom e capacità di calcolo GPU, direttamente in una collaborazione multiparte. I modelli vengono addestrati su dati combinati di più organizzazioni senza che i record grezzi escano dall’account di nessuno, mentre la pipeline viene eseguita automaticamente anziché richiedere ogni volta un intervento manuale.

Consideriamo un esempio concreto nel settore advertising. Un inserzionista sviluppa modelli di audience e misurazione utilizzando dati di log pubblicitari dei publisher, dati di risoluzione delle identità degli identity provider e segnali di transazione dei partner di dati retail. Ogni sorgente dati migliora la qualità del modello. Tuttavia, ogni provider ha legittime preoccupazioni su come vengono usati i suoi dati e su chi può vederli. Allo stesso tempo, la logica del modello e gli algoritmi di scoring dell’inserzionista sono proprietà intellettuale proprietaria che non ha alcun interesse a esporre ai propri partner di dati.

ML Jobs in Data Clean Rooms offre a ogni parte ciò di cui ha bisogno. I provider di dati e identità sanno che i loro dati sono governati e utilizzati solo per workload approvati esplicitamente. Il codice del modello dell’inserzionista resta all’interno del perimetro della collaborazione, invisibile ai provider di dati. Man mano che arrivano nuovi dati, i modelli generano scoring in continuo su segnali aggiornati, senza che nessuna parte debba rinegoziare gli accessi o riesporre i propri asset.

La stessa infrastruttura indica anche la direzione futura: addestrare agenti AI la cui efficacia dipende da segnali distribuiti tra più organizzazioni. Questo include dati comportamentali di un publisher, cronologia delle conversioni di un inserzionista e arricchimento demografico di un provider di dati, tutti combinati in un’unica esecuzione di fine‑tuning all’interno di una data clean room governata. È qui che sta andando l’ML multiparte, e la data foundation è già disponibile oggi.

“Il rilascio di ML Jobs Snowflake in DCR ci ha permesso di portare la metodologia di lift best-in-class di VideoAmp in un ambiente di calcolo decisamente più scalabile. Ora possiamo elaborare i report di lift più rapidamente, usando più segnali che mai, e generare più valore per i nostri clienti su larga scala.” — Katy Mitchell, Sr Director Ad Measurement Products, VideoAmp

“In Affinity Solutions, siamo orgogliosi di usare ML Jobs in Snowflake Data Clean Rooms. Per gli inserzionisti, poter addestrare modelli ed eseguire scoring su dati combinati senza che i record grezzi escano dall’ambiente di nessuno risolve un problema che per anni ha bloccato attività serie di misurazione e targeting. Ciò che ci entusiasma di più è la data foundation che si crea per il futuro: agenti AI addestrati in continuo sui nostri dati di acquisto dei consumatori e sui dati dei nostri clienti, in modo sicuro, protetto e fluido. ML Jobs rende la data collaboration davvero praticabile, ed è su questo che si costruirà il futuro dell’advertising.” — Kalyan Lanka, Chief Product Officer, Affinity Solutions

“Con ML Jobs Snowflake ora disponibile nella Data Clean Room Collaboration API Snowflake, Kroger Precision Marketing può collegare in modo nativo le proprie metodologie di misurazione media leader di settore all’interno di Snowflake Data Clean Rooms. Questa innovazione abilita le nostre metodologie di incrementalità best-in-class, consentendo a KPM di fornire insight affidabili e privacy-first alla velocità e su scala richieste dai marketer moderni.” — Nathan Dall, Product, Data Collaboration & AI, Kroger Precision Marketing

Cosa è possibile fare ora

Alcuni dei modelli ML più preziosi in advertising, servizi finanziari e sanità richiedono dati di più organizzazioni che, in genere, non hanno potuto condividerli perché spostarli oltre i confini aziendali crea problemi di privacy o di concorrenza. L’ML in data clean room è progettato proprio per risolvere questo problema.

Training di modelli e scoring multiparte

Un modello di machine learning addestrato su un singolo silo di dati riflette solo la visione del mondo di quel silo. Un retail media network, un provider di servizi finanziari e un brand dispongono ciascuno di segnali distinti sul comportamento dei consumatori, come cronologia degli acquisti, pattern di transazione e dati di engagement, che insieme sono molto più predittivi rispetto a quando vengono usati separatamente.

ML Jobs rende pratico eseguire un’unica pipeline di training su set di feature provenienti da più parti. Ogni organizzazione contribuisce al modello senza esporre i record grezzi alle altre. Il miglioramento dell’accuratezza ottenuto con feature più ricche e multi-sorgente è uno degli argomenti più convincenti a favore dell’ML collaborativo.

Il propensity scoring ne è un esempio diretto. Un publisher assegna uno score di propensione all’acquisto all’intera popolazione di utenti per conto di un inserzionista, ma un modello di propensione addestrato solo sui segnali comportamentali del publisher è limitato. Aggiungendo la cronologia delle conversioni di prima parte dell’inserzionista e i segnali demografici e psicografici di un provider di dati, lo stesso modello viene addestrato su un set di feature molto più ricco: affinità ai contenuti e comportamento di sessione del publisher, fascia di reddito e fase di vita del provider di dati, ed esiti di acquisto effettivi dell’inserzionista. Gli score risultanti sono sensibilmente più predittivi perché il modello ha visto il quadro completo di ciò che genera le conversioni. I modelli che prima si basavano sui soli segnali comportamentali di un singolo publisher ora possono essere riaddestrati a ogni nuova campagna con l’intero set di feature disponibili, mantenendo gli score aggiornati invece di lasciarli degradare al variare della composizione dell’audience.
 

Sviluppare, distribuire e scalare con semplicità

Per ML engineer e data scientist, l’esperienza di collaborazione in data clean room è la stessa che all’esterno: scrivere Python standard, usare qualsiasi pacchetto necessario e lavorare nell’IDE o nell’ambiente notebook preferito. L’unica aggiunta è una breve specifica di codice YAML che dichiara cosa eseguire e di cosa ha bisogno:

ml_jobs:
- name: train_model
entrypoint: train.py
stage_code_dir: '@my_db.public.ml_stage/project'
pip_requirements:
- xgboost
- scikit-learn
- pandas

Nessuna immagine Docker da creare, nessun registro container da configurare, nessuna infrastruttura da provisionare manualmente. Scalare su più nodi o GPU richiede una modifica di parametro, non una riscrittura architetturale. Registrare una nuova versione di un processo, aggiornare i requirement o aggiungere uno step di pipeline significa modificare la specifica. Una volta approvato, un template viene eseguito tramite una singola chiamata SQL da qualsiasi orchestrator, con la pianificazione che preferisci.

Anche il workflow di sviluppo è progettato per evitare attriti al perimetro della data clean room. Puoi sviluppare e testare il workflow completo del processo ML Job al di fuori di Snowflake Data Clean Rooms (DCR), in un ambiente Snowflake standard, usando gli stessi script Python e lo stesso runtime container. Dopo averlo sviluppato e testato, puoi portarlo nella collaborazione usando la specifica di codice con una versione dell’immagine bloccata, così da fissare le versioni delle dipendenze con cui hai sviluppato e testato. Questo significa che l’iterazione avviene nel tuo normale ambiente di sviluppo, mentre puoi distribuire e portare in produzione senza interruzioni i workload in DCR.

I workload ML Jobs sono progettati per essere eseguiti come pipeline di produzione, non come esperimenti una tantum. Una volta approvato un template, puoi pianificarlo con qualsiasi cadenza, attivarlo da eventi di dati upstream o orchestrare l’esecuzione da qualunque strumento di automazione, come Snowflake Tasks, Airflow o qualsiasi sistema in grado di effettuare una chiamata SQL. 

Dal punto di vista operativo, anche la cronologia attività di tutte le esecuzioni dei processi è interrogabile in Snowflake, offrendoti un audit trail delle esecuzioni di analisi. E quando qualcosa va storto, puoi accedere ai log container standard per il debugging abilitando il monitoraggio sugli ML Jobs.

Casi d’uso

Misurare l’incrementalità senza intermediari dei dati

Misurare il vero lift delle vendite generato dalla pubblicità richiede di unire i dati di esposizione agli annunci con gli esiti di acquisto tra parti diverse. Storicamente, serviva una terza parte neutrale che detenesse i dati combinati o un’infrastruttura custom significativa: percorsi ad alto attrito che la maggior parte degli inserzionisti evita.

Con ML Jobs, un brand e un retailer eseguono un modello uplift all’interno della collaborazione: i log delle impression restano nell’account del brand, i dati di transazione restano nell’account del retailer e il modello si addestra sul join. La misurazione del lift causale, che prima richiedeva un progetto di data science dedicato, diventa un workflow ripetibile per singola campagna. I team di campagna ottengono un segnale reale su ciò che funziona, non una metrica proxy.

Attribuzione retail media su scala transazionale

I dati di transazione dei retailer sono tra i segnali più preziosi per l’attribuzione, ma sono rimasti di fatto inaccessibili ad agenzie media e DSP a causa di sensibilità competitive. ML Jobs consente al modello di attribuzione di essere eseguito dove risiedono i dati. I record del retailer non vengono mai spostati. Gli output del modello, inclusi i pesi di attribuzione e le stime del lift di conversione, vengono condivisi downstream.

Crosswalk delle identità per match rate più elevati

La progressiva dismissione dei cookie di terze parti ha ridotto in modo significativo i match rate deterministici per molti programmi pubblicitari. Quando la copertura di email con hash o ID dispositivo è parziale, i join deterministici lasciano senza corrispondenza una quota ampia dell’audience. Per colmare questo divario occorre combinare i dati di prima parte dell’inserzionista, come record di customer relationship management (CRM) e cronologia delle conversioni, con grafi di identity provider di terze parti che mappano ID dispositivo, email con hash e ID pubblicitari mobili tra publisher.

La risoluzione probabilistica delle identità, un modello addestrato ad abbinare record tra spazi ID usando segnali comportamentali e contestuali, può generare un incremento significativo del match rate, ma richiede scala e capacità di calcolo dedicata. ML Jobs lo offre all’interno della data clean room: i dati CRM di prima parte di un inserzionista e il grafo di un identity provider di terze parti addestrano un modello di risoluzione senza che i record di una delle due parti escano dal rispettivo account. Quando i join deterministici lasciano senza corrispondenza ampie porzioni dell’audience, un modello di risoluzione ben addestrato colma il divario e, poiché può essere riaddestrato al variare della copertura degli ID, i match rate non si limitano a degradare nel tempo restando poi degradati.

Dal lookalike scoring agli agenti AI per l’ottimizzazione delle campagne

La modellazione lookalike produce una lista ordinata di utenti simili a una seed audience, uno score statico in un determinato momento. Un agente AI per l’ottimizzazione delle campagne va oltre: dato un brief di campagna, un budget e un obiettivo, ragiona sui segnali combinati di più parti per consigliare quali segmenti di audience targetizzare, in quale contesto e a quale livello di offerta.

La differenza nei dati di training è ciò che lo rende possibile in una data clean room. Un modello lookalike viene addestrato sulle feature utente di un publisher rispetto alla seed audience di un inserzionista. Un agente AI per l’ottimizzazione delle campagne viene addestrato simultaneamente sui segnali comportamentali del publisher, sulla cronologia delle conversioni dell’inserzionista in più campagne e categorie di prodotto, e sull’arricchimento demografico del provider di dati. Impara non solo quali utenti assomigliano a chi ha convertito in passato, ma anche quali combinazioni di contesto dell’audience, profilo demografico e tipo di campagna generano conversione, generalizzando questo apprendimento a nuove campagne che il modello non ha mai visto prima.

La data clean room a tre parti fornisce la struttura di governance che rende tutte e tre le parti disposte a contribuire: I dati comportamentali del publisher non escono mai dal suo account; la cronologia delle conversioni e la logica del modello dell’inserzionista restano entro il perimetro della collaborazione e il grafo demografico del provider di dati viene usato solo per il workload di training approvato. Due parti e un warehouse possono sviluppare un modello lookalike. Un agente AI di ottimizzazione delle campagne richiede dati di training multiparte, capacità di calcolo su GPU e il modello di fiducia offerto dal ML in data clean room.

Confronto con altri approcci

Alcune piattaforme di data clean room progettano le proprie API ML intorno a casi d’uso specifici, come la generazione di audience lookalike o formati di modelli custom specifici. Altre utilizzano ambienti notebook centralizzati e condivisi, adatti alla data science esplorativa e alla revisione collaborativa manuale.

ML Jobs in Snowflake Data Clean Rooms amplia questi approcci supportando workload ML Python standard, end‑to‑end, ottimizzati per pipeline di produzione automatizzate. I dati restano nel rispettivo account di ciascuna parte, con un sistema di approvazione basato su hash che abilita riesecuzioni automatizzate e fluide senza richiedere interventi manuali a ogni esecuzione. Inoltre, quando entrambe le parti abilitano Cross-Cloud Auto-Fulfillment, i workload vengono eseguiti senza interruzioni su cloud e regioni diversi. Per scalare in modo efficiente in base alle esigenze di ciascun progetto, chi esegue l’analisi può selezionare direttamente nel proprio account un compute pool adatto al workload: da CPU standard o ad alta memoria per grandi set di feature a istanze GPU per task accelerati come deep learning e fine‑tuning degli LLM (nelle regioni supportate).

Inizia subito

ML Jobs in Data Clean Rooms è ora disponibile per tutti gli account Snowflake in cui è installato l’ambiente Data Clean Rooms. Non serve alcuna abilitazione a livello di account.

Per ML engineer e data scientist: Sono disponibili due esempi end‑to‑end, ciascuno con un generatore di dati campione, worksheet SQL per entrambe le parti e script Python di training e scoring che puoi eseguire già oggi:

• Modellazione di audience lookalike con ML Jobs: L’inserzionista addestra un classificatore lookalike sulle feature utente del publisher e attiva l’audience sottoposta a scoring.

• Misurazione multiparte dell’incrementalità con ottimizzazione automatizzata degli iperparametri (HPO): Il brand e il network di retail media eseguono la modellazione dell’uplift per campagna con ottimizzazione bayesiana degli iperparametri.

Per campaign manager e media buyer che stanno valutando questa soluzione per workflow di misurazione o targeting: Gli esempi di incrementalità e lookalike qui sopra sono il modo più rapido per capire cosa è possibile fare. Condividili con il tuo team di data science o misurazione. Gli esempi includono tutto il necessario per un’esecuzione end‑to‑end, con un workflow che si allinea direttamente ai pattern standard di campagna e attivazione che usi già.

Documentazione di riferimento completa: ML Jobs in Data Clean Rooms.