ハンズオンラボ
データエンジニアリングのための SparkからSnowparkへの移行
最小限のコード変更でSparkパイプラインを移行し、Python、Java、Scalaをネイティブにサポートする伸縮性のある処理エンジンによって運用オーバーヘッドを削減できます。
Pysparkライクなコードをより高速に実行
Snowpark APIを使用することにより、任意の統合開発環境やノートブックからデータ変換やカスタムのビジネスロジックを開発できるようになります。Snowflakeのコンピュートランタイムでセキュアにコードを実行して、伸縮性に優れた、高パフォーマンスでガバナンスの確保された処理を実現できます。
SparkからSnowparkへの移行 概要
DataFrame API
任意の統合開発環境でSparkライクなDataFrameを使用してクエリを構築し、Snowflakeの伸縮性のある処理エンジンに処理をプッシュダウンできます。
ユーザー定義関数
最小限のコード変更でSparkから移行できるユーザー定義関数（UDF）を使用することで、PythonまたはJavaで記述されたカスタムロジックをSnowflakeで直接実行できます。
ストアドプロシージャ
Snowflake内で直接、パイプラインとカスタムロジックの運用化、オーケストレーションを実行して、SQLユーザーによるアクセスを可能にします。
多数の言語に対応する
Snowflakeプラットフォーム
Snowflakeのユニークなマルチクラスターの共有データアーキテクチャが、Snowparkの優れたパフォーマンス、伸縮性、ガバナンスを支えています。
Snowpark 開発者からの声
多くのお客様がSparkからSnowparkに移行し、スケーラブルでガバナンスの確保されたデータパイプラインを実現しています。
最小限のコード変更
“We wanted to switch to Snowpark for performance reasons and it was so easy to do. Converting our PySpark code to Snowpark was as simple as a change in an import statement.”
Principal Data Engineer, Homegenius
優れた価格対性能比
“Before, we had to move the data for processing with other languages and then bring results back to make those accessible. Now with Snowpark, we are bringing the processing to the data, streamlining our architecture and making our data engineering pipelines and intelligent applications more cost effective with processing happening within Snowflake, our one single platform.”
Sr. Director Clinical Data Analytics, IQVIA
運用オーバーヘッドの削減
“With our previous Spark-based platforms, there came a point where it would be difficult to scale, and we were missing our load SLAs. With Snowflake, the split between compute and storage makes it much easier. We haven’t missed an SLA since migrating.”
