Introducing Polaris Catalog

An open source catalog for Apache Iceberg

ワークロード

Snowflakeの データエンジニアリング

SQLやPythonでパワフルなストリーミングとバッチのデータパイプラインを構築します。

複雑なデータエンジニアリング要件を簡素化

宣言型パイプラインの力とコスト効果の高い増分更新を使用して、単一プラットフォーム上にストリーミングとバッチのデータパイプラインを構築します。  

データシェアリングで不要なパイプラインを排除

Snowflakeマーケットプレイスにある数千ものデータセットやアプリから、すぐに使えるライブデータに直接アクセスできます。パイプラインの構築は必要ありません。 

最適化された単一エンジンで好みの言語を使ってコーディング

PythonやSQLなどでプログラミングしてから、Snowflakeのマルチクラスターコンピュートで実行。別にインフラストラクチャは不要です。 

メカニズム

10秒未満のレイテンシーでデータをストリーミング

分離されていることが多いストリーミングとバッチのシステムは、一般に管理が複雑であり、スケーリングにはコストがかかります。これに対し、Snowflakeでは、ストリーミングとバッチデータの取り込みおよび変換を単一システム内で処理するため、プロセスが常にシンプルです。 

Snowpipeストリーミングを使用するかSnowpipeによる自動取り込みを実行すれば、レイテンシーを数秒に抑え、ほぼリアルタイムで行セットデータをストリーミングすることができます。いずれのオプションもサーバーレスのため、スケーラビリティとコスト効果が向上します。

data engineering streaming diagram
Adjust latency with single parameter change

単一パラメーターの変更でレイテンシーを調整

ダイナミックテーブル(パブリックプレビュー中)により、SQLまたはPythonを使用してデータ変換を宣言的に定義できます。Snowflakeが依存関係を管理し、鮮度の目標に基づいて結果を自動的にマテリアライズします。ダイナミックテーブルが動作するのは前回の更新以降に変更されたデータに対してのみです。そのため、大量のデータと複雑なパイプラインがシンプルになり、コスト効果が向上します。

ビジネスニーズが変化しても、レイテンシーパラメーターを1つ変更してバッチパイプラインをストリーミングパイプラインにすることで、容易に適応できます。

アナリティクス、AI/ML、アプリケーション向けのデータエンジニアリングを強化

データのある場所でワークロードを実行すれば、パイプラインのアーキテクチャを効率化し、別にインフラストラクチャを用意する必要性を排除できます。 

データのある場所でコーディングすれば、さまざまなビジネスニーズに対応できます。アナリティクスを加速し、アプリを構築し、生成AIとLLMのパワーを最大限に引き出しましょう。Snowparkなら、SQL、Python、Java、Scalaなど、好みの言語でコーディングできます。

Snowflake Platform
 Snowpark architecture diagram

ガバナンスを妥協せずに3.5倍のパフォーマンス高速化と34%のコスト削減を実現

Snowparkが提供するDataFrame APIなどの一連のライブラリ、UDFやストアドプロシージャなどのランタイムを使用して、Python、Java、Scalaでコーディング。そのコードを、データのある場所でセキュアにデプロイして処理します。すべてSnowflakeの一貫したガバナンスのもとで実行できます。 

Snowparkを使用しているお客様は、マネージドSparkソリューションと比較して中央値で3.5倍のパフォーマンス高速化と34%のコスト削減を実現しています。1

容易なデータシェアリングにより構築するデータパイプラインを削減

データクラウドを使用すれば、データとアプリケーションの大規模ネットワークを速やかに利用できるようになります。 

Snowflakeマーケットプレイスからライブデータセットに直接アクセスして、データとアプリケーションを容易に利用、配布できます。その結果、コストが削減され、従来の抽出、変換、ロード(ETL)パイプラインとAPIベースの統合に関連する負荷が軽減されます。または、シンプルにネイティブコネクタを使ってデータを活用しましょう。

ユースケース

ストリーミングとバッチのサイロを解消

ストリーミングとバッチデータを単一システムに取り込んで変換しましょう。
弊社のお客様

データエンジニアリングにSnowflakeを活用するリーダー企業

sanofi
power digital
cortex
siemens

さあ始めましょう

Snowflakeでのパイプライン構築に必要なデータエンジニアリングリソースがすべて揃っています。

Snowflake Quickstarts logo

クイックスタート

データエンジニアリングに関するSnowflakeのチュートリアルを使って、迅速なスタートを切りましょう。

Virtual Hands on Labs

バーチャルハンズオンラボ

インストラクター付きのバーチャルハンズオンラボに参加し、Snowflakeでデータパイプラインを構築する方法を学習しましょう。

Snowflake Community logo

Snowflakeコミュニティ

SnowflakeコミュニティフォーラムとSnowflakeユーザーグループで世界中のデータプラクティショナーと出会い、学びましょう。

30日間の無料トライアルを開始する

Snowflakeの30日間無料トライアルで、他のソリューションに内在する複雑さ、コスト、制約の課題を解決するデータクラウドを体験できます。

1データソース:Snowparkのお客様導入事例