ハンズオンラボ
Apache Sparkの簡素化 Snowparkによるパイプライン
Apache SparkパイプラインをSnowparkに移行することで、運用を合理化し、パフォーマンスのボトルネックを軽減できます。
コード実行の高速化
Snowpark APIを使用することにより、任意の統合開発環境やノートブックからデータ変換やカスタムのビジネスロジックを開発できるようになります。既存のApache SparkコードをSnowflakeに移行し、Snowflakeコンピュートでセキュアにコードを実行することで、柔軟かつ高性能でガバナンスを確保した処理を実現する方法をご紹介します。
SparkからSnowparkに移行するための ツールと自動化
ジャンプスタート開発
使い慣れたSparkライクなDataFrame APIを使用してパイプラインの開発とオーケストレーションを行い、Snowflakeの伸縮性のある処理エンジンに処理をプッシュダウンできます。
移行を加速
Apache Sparkからの複雑なデータ変換の移行は困難な場合があります。Snowpark移行アクセラレータでは、コード評価と変換のツールからデータセマンティックモデルを無料で利用できます。
Workspace Estimatorでコストを比較する
お客様のシステムに直接アクセスすることなく、現在のワークスペースに関する情報を分析できます。アカウントチームと連携して、Snowparkを使用した場合の性能を比較し、計画します。
コードの検証とテスト
Snowpark移行アクセラレータに統合されたSnowpark Checkpoints Libraryを通じてテストを自動生成し、変換を検証します。
複数の言語に対応した
Snowflakeプラットフォーム
Snowflakeのユニークなマルチクラスターの共有データアーキテクチャが、Snowparkの優れたパフォーマンス、伸縮性、ガバナンスを強化します。
Snowpark 開発者からの声
多くのお客様がSparkからSnowparkに移行し、スケーラブルでガバナンスの確保されたデータパイプラインを実現しています。
最小限のコード変更
「パフォーマンスが理由でSnowparkへ切り替える必要があったのですが、驚くほど簡単でした。PySparkのコードをSnowparkに変換する作業は、インポート構文を変更するだけで済みました」
Homegeniusプリンシパルデータエンジニア
優れた価格対性能比
「以前は、データを別の言語で処理するために移動させ、その結果をアクセス可能にする必要がありましたが、Snowparkを使用して処理をデータに近づけることができ、アーキテクチャを合理化できました。これにより、データエンジニアリングパイプラインとインテリジェントなアプリケーションが、単一プラットフォームであるSnowflake内での処理によって、コスト効率が一層向上しました」
IQVIA臨床データアナリティクス担当シニアディレクター
運用オーバーヘッドの削減
「私たちの以前のSparkベースのプラットフォームでは、スケーリングが難しくなり、負荷に関するSLAを達成できないことがありましたが、Snowflakeでは、コンピュートとストレージが分離されているため、はるかに容易になりました。移行後はSLAを必ず達成しています」
