SnowflakeデータクリーンルームにおけるML Jobsの紹介：マルチパーティのデータをまたがるコラボレーティブなトレーニングとスコアリング
これまで、データクリーンルーム内で複雑なMLワークロードを実行しようとすると、壁にぶつかっていました。ほとんどのクリーンルーム環境はSQLクエリまたは単一ノードのPythonに限定されており、エンタープライズデータのボリュームではすぐにメモリの制約に直面します。その結果、チームはクリーンルームをモデル構築の場としてではなく、コンプライアンスツールとして扱うようになっていました。ML Jobsは、この状況を変革します。Snowflakeデータクリーンルーム™のML Jobsが一般提供されました。
データサイエンティストは、分散トレーニング、ハイパーパラメータ最適化、カスタムパッケージ、GPUコンピュートを備えた標準的なPython MLスタックを、マルチパーティのコラボレーションに直接持ち込むことができるようになりました。生レコードが誰のアカウントからも外部に出ることなく、複数の組織から結合されたデータでモデルのトレーニングが行われます。また、毎回手動で介入する必要はなく、パイプラインは自動的に実行されます。
広告業界の具体的な例を考えてみます。広告主は、パブリッシャーからの広告ログデータ、IDプロバイダーからのID解決データ、小売データパートナーからのトランザクションシグナルを使用して、オーディエンスモデルと効果測定モデルを構築します。それぞれのデータソースがモデルの品質を向上させます。しかし、各プロバイダーは、自社のデータがどのように使用され、誰が閲覧できるのかについて、正当な懸念を抱いています。同時に、広告主のモデルロジックとスコアリングアルゴリズムは独自の知的財産（IP）であり、データパートナーに公開する意図はありません。
データクリーンルームのML Jobsは、各パーティが必要とするものを提供します。データプロバイダーとIDプロバイダーは、自社のデータがガバナンスの効いた状態で管理され、明示的に承認したワークロードにのみ使用されることを確信できます。広告主のモデルコードはコラボレーションの境界内にとどまり、データプロバイダーからは見えません。新しいデータが流入すると、どのパーティもアクセス権の再交渉やアセットの再公開を行うことなく、モデルは最新のシグナルに基づいて継続的にスコアリングを行います。
この同じインフラストラクチャは、複数の組織に分散されたシグナルに有効性が依存するAIエージェントのトレーニングという、次のステップも示唆しています。これには、パブリッシャーの行動データ、広告主のコンバージョン履歴、データプロバイダーのデモグラフィックエンリッチメントが含まれ、これらすべてがガバナンスの効いたクリーンルーム内の単一のファインチューニング実行で結合されます。これがマルチパーティMLの向かう先であり、その基盤はすでに今日利用可能になっています。
「DCRにおけるSnowflakeのML Jobsのリリースにより、VideoAmpのクラス最高のリフト手法を、劇的にスケーラブルなコンピューティング環境に導入できるようになりました。以前よりも多くのシグナルを使用して、リフトレポートをより迅速に処理できるようになり、クライアントに大規模かつより大きな価値を提供できるようになりました」VideoAmp、Ad Measurement Products担当Sr Director、Katy Mitchell氏
「Affinity Solutionsでは、SnowflakeデータクリーンルームでML Jobsを使用できることを誇りに思っています。広告主にとって、生レコードが誰の環境からも外部に出ることなく、結合されたデータでモデルのトレーニングとスコアリングを行える機能は、長年にわたって本格的な効果測定とターゲティング業務を阻んできた問題を解決します。私たちが最も期待しているのは、これが次のステップに向けて構築する基盤です。それは、当社の消費者購買データとクライアントのデータを使用して、安全、セキュア、かつシームレスな方法で継続的にトレーニングされるAIエージェントです。ML Jobsはデータコラボレーションを真に実用的なものにしており、これこそが広告の未来が構築される基盤となります」Affinity Solutions、Chief Product Officer、Kalyan Lanka氏
「SnowflakeのML JobsがSnowflakeのデータクリーンルームコラボレーションAPIで利用可能になったことで、Kroger Precision Marketingは、業界をリードする当社のメディア効果測定サイエンスをSnowflakeデータクリーンルーム内でネイティブに接続できるようになりました。このイノベーションにより、当社のクラス最高のインクリメンタリティサイエンスが解き放たれ、KPMはモダンなマーケターが求めるスピードと規模で、信頼性の高いプライバシーファーストのインサイトを提供できるようになります」Kroger Precision Marketing、Product, Data Collaboration & AI担当、Nathan Dall氏
これにより可能になること
広告、金融サービス、ヘルスケアにおける最も価値のあるMLモデルのいくつかは、複数の組織からのデータを必要とします。しかし、企業の境界を越えてデータを移動させるとプライバシーや競争上の問題が生じるため、一般的にこれらの組織はデータを共有できませんでした。クリーンルームMLは、この問題に直接対処するように設計されています。
マルチパーティのモデルトレーニングとスコアリング
単一のデータサイロでトレーニングされた機械学習モデルは、そのサイロの世界観しか反映しません。リテールメディアネットワーク、金融サービスプロバイダー、ブランドはそれぞれ、購買履歴、トランザクションパターン、エンゲージメントデータなど、消費者の行動に関する独自のシグナルを持っています。これらは単独で使用するよりも、組み合わせることで予測精度がはるかに高まります。
ML Jobsを使用すると、複数のパーティからの特徴量セットにまたがって単一のトレーニングパイプラインを実行することが実用的になります。各組織は、生レコードを他の組織に公開することなく、モデルに貢献します。よりリッチなマルチソースの特徴量による精度の向上は、コラボレーティブMLを支持する最も明確な理由の1つです。
傾向スコアリングは、この直接的な例です。パブリッシャーは広告主に代わって全ユーザー層の購買傾向をスコアリングしますが、パブリッシャーの行動シグナルのみでトレーニングされた傾向モデルには限界があります。広告主のファーストパーティのコンバージョン履歴と、データプロバイダーのデモグラフィックおよびサイコグラフィックシグナルを取り入れることで、同じモデルがはるかにリッチな特徴量セットでトレーニングされます。これには、パブリッシャーからのコンテンツの親和性とセッション行動、データプロバイダーからの所得層とライフステージ、そして広告主からの実際の購買結果が含まれます。コンバージョンを促進する要因の全体像をモデルが把握しているため、結果として得られるスコアは有意義に高い予測精度を持ちます。以前は単一のパブリッシャーの行動シグナルに依存していたモデルも、利用可能なすべての特徴量セットを使用して新しいキャンペーンごとに再トレーニングできるようになりました。これにより、オーディエンス構成の変化に伴ってスコアが低下するのを防ぎ、常に最新の状態に保つことができます。
開発、展開、スケーリングの容易さ
MLエンジニアやデータサイエンティストにとって、クリーンルームコラボレーション内のエクスペリエンスは外部と同じです。標準的なPythonを記述し、必要なパッケージを使用し、好みのIDEやノートブック環境で作業できます。追加されるのは、実行する内容と必要なものを宣言する短いYAMLコード仕様のみです。
ml_jobs:
- name: train_model
entrypoint: train.py
stage_code_dir: '@my_db.public.ml_stage/project'
pip_requirements:
- XGBoost
- scikit-learn
- pandas
Dockerイメージのビルド、コンテナレジストリの設定、インフラストラクチャの手動プロビジョニングは不要です。複数のノードやGPUへのスケーリングはアーキテクチャの書き換えではなく、パラメータの変更で対応できます。ジョブの新しいバージョンの登録、要件の更新、パイプラインステップの追加は、仕様の変更として処理されます。テンプレートが承認されると、設定した任意のスケジュールで、任意のオーケストレーターからの単一のSQL呼び出しによって実行されます。
また、開発ワークフローは、クリーンルームの境界での摩擦を回避するように設計されています。Snowflakeデータクリーンルーム（DCR）の外部にある標準のSnowflake環境で、同じPythonスクリプトとコンテナランタイムを使用して、ML Jobsのワークフロー全体を構築およびテストできます。構築とテストが完了したら、開発およびテストで使用した依存関係のバージョンを固定したイメージバージョンを含むコード仕様を使用して、コラボレーションに導入できます。つまり、通常の開発環境でイテレーションを行い、DCRでワークロードをシームレスに展開して運用できるようになります。
ML Jobsのワークロードは、単発の実験ではなく、本番環境のパイプラインとして実行されるように設計されています。テンプレートが承認されると、任意の頻度でスケジュールしたり、アップストリームのデータイベントからトリガーしたり、Snowflakeタスク、Airflow、またはSQL呼び出しが可能な任意のシステムなどの自動化ツールからオーケストレーションしたりできます。
運用面では、すべてのジョブ実行のアクティビティ履歴もSnowflakeでクエリできるため、分析実行の監査証跡を取得できます。また、問題が発生した場合は、ML Jobsの監視を許可することで、デバッグ用の標準コンテナログにアクセスできます。
ユースケース
データ仲介者を介さないインクリメンタリティ効果測定
広告による真の売上リフトを測定するには、組織の枠を超えて広告への接触データと購買結果を結合する必要があります。従来、これには中立的なサードパーティが結合されたデータを保持するか、大規模なカスタムインフラストラクチャが必要でした。これらは摩擦が大きいため、ほとんどの広告主は避けてきました。
ML Jobsを使用すると、ブランドと小売企業はコラボレーション内でアップリフトモデルを実行できます。インプレッションログはブランドのアカウントに、トランザクションデータは小売企業のアカウントに保持されたまま、結合されたデータでモデルがトレーニングされます。以前は専用のデータサイエンスプロジェクトが必要だった因果リフトの効果測定が、キャンペーンごとの反復可能なワークフローになります。キャンペーンチームは、代理の指標ではなく、何が効果的かを示す実際のシグナルを得ることができます。
トランザクション規模でのリテールメディアアトリビューション
小売企業のトランザクションデータは、アトリビューションにとって最も価値のあるシグナルの1つですが、競合上の機密性から、メディアエージェンシーやDSPにとっては事実上アクセス不可能なものでした。ML Jobsを使用すると、データが存在する場所でアトリビューションモデルを実行できます。小売企業の記録が移動することはありません。アトリビューションの重み付けやコンバージョンリフトの推定値を含むモデルの出力は、ダウンストリームで共有されます。
マッチ率を高めるためのIDクロスウォーク
サードパーティCookieの廃止により、多くの広告プログラムで決定論的マッチ率が大幅に低下しています。ハッシュ化されたEメールやデバイスIDの網羅性が不完全な場合、決定論的結合ではオーディエンスの大部分がマッチしないままになります。このギャップを埋めるには、顧客関係管理（CRM）の記録やコンバージョン履歴などの広告主のファーストパーティデータと、パブリッシャー間でデバイスID、ハッシュ化されたEメール、モバイル広告IDをマッピングするサードパーティのIDプロバイダーのグラフを結合する必要があります。
行動シグナルやコンテキストシグナルを使用してID空間全体で記録をマッチングするようにトレーニングされたモデルである確率的ID解決は、マッチ率の有意な向上を回復できますが、それには規模と専用のコンピュートが必要です。ML Jobsは、クリーンルーム内でこれを提供します。広告主のファーストパーティCRMデータとサードパーティのIDプロバイダーのグラフを使用して、どちらの当事者の記録もアカウントから移動させることなく、解決モデルをトレーニングします。決定論的結合ではオーディエンスの大部分がマッチしないままになる場合でも、適切にトレーニングされた解決モデルがそのギャップを埋めます。また、IDの網羅性の変化に応じてモデルを再トレーニングできるため、マッチ率が時間の経過とともに単に低下し続けることはありません。
類似スコアリングからキャンペーン最適化エージェントへ
類似モデリングは、シードオーディエンスに類似したユーザーのランク付けされたリスト、つまりある時点での静的なスコアを生成します。キャンペーン最適化エージェントはさらに一歩踏み込みます。キャンペーンの概要、予算、目的が与えられると、複数の当事者からの結合されたシグナルを推論し、どのオーディエンスセグメントを、どのようなコンテキストで、どの入札レベルでターゲットにすべきかを推奨します。
これをクリーンルームで可能にするのは、トレーニングデータの違いです。類似モデルは、広告主のシードオーディエンスに対して、パブリッシャーのユーザー特徴量を使用してトレーニングされます。キャンペーン最適化エージェントは、パブリッシャーの行動シグナル、複数のキャンペーンや製品カテゴリにわたる広告主のコンバージョン履歴、およびデータプロバイダーのデモグラフィックエンリッチメントを同時に使用してトレーニングされます。過去のコンバージョンユーザーに似ているユーザーだけでなく、オーディエンスのコンテキスト、デモグラフィックプロファイル、キャンペーンタイプのどの組み合わせがコンバージョンを促進するかを学習し、その学習をモデルがこれまで見たことのない新しいキャンペーンに一般化します。
3者間クリーンルームは、3者すべてが安心してデータを提供できるガバナンス構造を提供します。パブリッシャーの行動データがそのアカウントから離れることはなく、広告主のコンバージョン履歴とモデルロジックはコラボレーションの境界内に留まり、データプロバイダーのデモグラフィックグラフは承認されたトレーニングワークロードにのみ使用されます。2つの当事者と1つのウェアハウスがあれば、類似モデルを構築できます。キャンペーン最適化エージェントには、マルチパーティのトレーニングデータ、GPUコンピュート、そしてクリーンルームMLが提供するトラストモデルが必要です。
他のアプローチとの比較
一部のクリーンルームプラットフォームは、類似オーディエンスの生成や特定のカスタムモデルフォーマットなど、特定のユースケースに合わせてML APIを設計しています。また、探索的データサイエンスや手動でのコラボレーションレビューに適した、一元化された共有ノートブック環境を利用するプラットフォームもあります。
SnowflakeデータクリーンルームのML Jobsは、自動化された本番パイプライン向けに最適化された標準的なエンドツーエンドのPython MLワークロードをサポートすることで、これらのアプローチをさらに拡張します。データは各当事者のアカウント内に留まり、ハッシュベースの承認システムを利用することで、実行のたびに手動で介入することなく、シームレスで自動化された再実行が可能になります。さらに、両者がクロスクラウドの自動フルフィルメントを有効にすると、ワークロードは異なるクラウドやリージョン間でシームレスに実行されます。各プロジェクトのニーズに合わせて効率的にスケールするため、分析の実行者は、大規模な特徴量セット向けの標準または大容量メモリCPUから、ディープラーニングやLLMのファインチューニングなどの高速化タスク向けのGPUインスタンス（サポート対象リージョンのみ）まで、ワークロードに適したコンピュートプールをアカウント内で直接選択できます。
使用を開始する
データクリーンルームのML Jobsは、データクリーンルーム環境がインストールされているすべてのSnowflakeアカウントで利用可能になりました。アカウントレベルでのイネーブルメントは必要ありません。
MLエンジニアおよびデータサイエンティスト向け：2つのエンドツーエンドの例が用意されており、それぞれにサンプルデータジェネレーター、両者向けのSQLワークシート、およびすぐに実行できるPythonのトレーニングおよびスコアリングスクリプトが含まれています。
ML Jobsを使用した類似オーディエンスモデリング：広告主は、パブリッシャーのユーザー特徴量に基づいて類似分類器をトレーニングし、スコアリングされたオーディエンスをアクティベートします。
自動化されたハイパーパラメータ最適化（HPO）によるマルチパーティのインクリメンタリティ効果測定：ブランドとリテールメディアネットワークは、ベイズハイパーパラメータ最適化を使用して、キャンペーンごとのアップリフトモデリングを実行します。
効果測定またはターゲティングワークフローのために本機能の評価を行うキャンペーンマネージャーおよびメディアバイヤー向け：上記のインクリメンタリティと類似モデルの例は、何が可能かを理解するための最短ルートです。データサイエンスまたは効果測定チームと共有してください。これらの例にはエンドツーエンドで実行するために必要なすべてが含まれており、そのワークフローは、すでに使用している標準的なキャンペーンやアクティベーションのパターンに直接マッピングされます。
詳細なリファレンスドキュメント：データクリーンルームのML Jobs。
