ワークロード

Snowflakeのデータエンジニアリング

SQLやPythonでパワフルなストリーミングとバッチのデータパイプラインを構築します。

無料で試す

EBOOK

複雑なデータエンジニアリング要件を簡素化

宣言型パイプラインの力とコスト効果の高い増分更新を使用して、単一プラットフォーム上にストリーミングとバッチのデータパイプラインを構築します。

データシェアリングで不要なパイプラインを排除

Snowflakeマーケットプレイスにある数千ものデータセットやアプリから、すぐに使えるライブデータに直接アクセスできます。パイプラインの構築は必要ありません。

最適化された単一エンジンで好みの言語を使ってコーディング

PythonやSQLなどでプログラミングしてから、Snowflakeのマルチクラスターコンピュートで実行。別にインフラストラクチャは不要です。

メカニズム

10秒未満のレイテンシーでデータをストリーミング

分離されていることが多いストリーミングとバッチのシステムは、一般に管理が複雑であり、スケーリングにはコストがかかります。これに対し、Snowflakeでは、ストリーミングとバッチデータの取り込みおよび変換を単一システム内で処理するため、プロセスが常にシンプルです。

Snowpipeストリーミングを使用するかSnowpipeによる自動取り込みを実行すれば、レイテンシーを数秒に抑え、ほぼリアルタイムで行セットデータをストリーミングすることができます。いずれのオプションもサーバーレスのため、スケーラビリティとコスト効果が向上します。

Stream data with less than 10 second latency

Adjust latency with single parameter change

単一パラメーターの変更でレイテンシーを調整

ダイナミックテーブル（パブリックプレビュー中）により、SQLまたはPythonを使用してデータ変換を宣言的に定義できます。Snowflakeが依存関係を管理し、鮮度の目標に基づいて結果を自動的にマテリアライズします。ダイナミックテーブルが動作するのは前回の更新以降に変更されたデータに対してのみです。そのため、大量のデータと複雑なパイプラインがシンプルになり、コスト効果が向上します。

ビジネスニーズが変化しても、レイテンシーパラメーターを1つ変更してバッチパイプラインをストリーミングパイプラインにすることで、容易に適応できます。

ウェビナーを視聴

アナリティクス、AI/ML、アプリケーション向けのデータエンジニアリングを強化

データのある場所でワークロードを実行すれば、パイプラインのアーキテクチャを効率化し、別にインフラストラクチャを用意する必要性を排除できます。

データのある場所でコーディングすれば、さまざまなビジネスニーズに対応できます。アナリティクスを加速し、アプリを構築し、生成AIとLLMのパワーを最大限に引き出しましょう。Snowparkなら、SQL、Python、Java、Scalaなど、好みの言語でコーディングできます。

詳しくはこちら

ガバナンスを妥協せずに3.5倍のパフォーマンス高速化と34%のコスト削減を実現

Snowparkが提供するDataFrame APIなどの一連のライブラリ、UDFやストアドプロシージャなどのランタイムを使用して、Python、Java、Scalaでコーディング。そのコードを、データのある場所でセキュアにデプロイして処理します。すべてSnowflakeの一貫したガバナンスのもとで実行できます。

Snowparkを使用しているお客様は、マネージドSparkソリューションと比較して中央値で3.5倍のパフォーマンス高速化と34%のコスト削減を実現しています。¹

詳しくはこちら

容易なデータシェアリングにより構築するデータパイプラインを削減

データクラウドを使用すれば、データとアプリケーションの大規模ネットワークを速やかに利用できるようになります。

Snowflakeマーケットプレイスからライブデータセットに直接アクセスして、データとアプリケーションを容易に利用、配布できます。その結果、コストが削減され、従来の抽出、変換、ロード（ETL）パイプラインとAPIベースの統合に関連する負荷が軽減されます。または、シンプルにネイティブコネクタを使ってデータを活用しましょう。

詳しくはこちら