Snowflake上でのApache Sparkの活用

Snowpark Connectを利用することで、PySparkなどのSparkクライアントを使用してSnowflakeに接続し、最新のApache Spark DataFrame、Spark SQL、UDFコードをSnowflakeエンジンで直接実行できます。これにより、個別のSpark環境を維持管理するオーバーヘッドが軽減されます。

Snowpark Connectは、クエリプッシュダウンを介してSnowflakeエンジン内ですべての操作を実行するマネージドコンピューティングサービスです。これにより、個別のSparkクラスターのプロビジョニングやデータの移動、それに伴うエグレスおよびイングレスコストが不要になります。一方、Sparkコネクタは個別のSparkクラスターを必要とし、データの転送が発生するだけでなく、プッシュダウンできるのはSpark SQL操作の一部に限定されます。

Snowpark ConnectはCSV、JSON、Parquetなどの一般的なファイル形式の読み書きが可能です。Snowflakeネイティブテーブル内のデータだけでなく、Snowflake管理および外部管理のApache Iceberg™テーブルを介したオープンレイクハウス内のデータもサポートしています。

Snowpark Connectは、クライアントと実行エンジンを分離するオープンソースのSpark Connectプロトコルを基盤として構築されています。Snowpark Connectは、軽量のSpark Connectサーバーを使用してSparkの論理計画を解析し、ワークロード全体をSnowflakeベクトル化エンジンにプッシュダウンして実行します。これにより、ユーザーがSparkクラスターを運用する必要はなくなり、すべてのコンピュートがSnowflake内で行われるようになります。

DataFrame操作を中心としたほとんどのコードは、セッションの接続先をSnowflakeに変更するだけで動作するはずです。どのような規模のコードベースであっても、Snowpark移行アクセラレーター（SMA）を使用して互換性の詳細を確認できます。

SparkワークロードをSnowflakeに移行したお客様は、平均で5.1倍のパフォーマンス高速化と42%のコスト削減を実現しています。