最新のデータストリーミングパイプライン：7つの業界のストリーミングリファレンスアーキテクチャとユースケース
注：本記事は(2024年3月20日)に公開された(The Modern Data Streaming Pipeline: Streaming Reference Architectures and Use Cases Across 7 Industries )を機械翻訳により公開したものです。
さまざまな業界のエグゼクティブは、インサイトを獲得し、迅速に意思決定を下すことを迫られています。これにより、ストリーミングデータとアナリティクスの重要性が高まっています。ストリーミングデータとアナリティクスは、より迅速かつ良好な結果につながると考えられる、情報に基づいたより良い意思決定を行うために重要な役割を果たします。
従来のシステムでは、データはバッチで保存され処理されますが、ストリーミングデータはさまざまなソースから継続的に生成されるデータを指します。データストリーミング（一定の速度で継続的にデータを取得して処理するプロセス）は、ビジネスニーズに応じて幅広いレイテンシーを伴います。「ストリーミングはミリ秒単位である必要がある」という従来の認識とは対照的に、ストリーミングとは、数秒、数分、さらには数時間単位の継続的なデータストリームを処理するレイテンシーのスペクトルです。
しかし、データストリーミングのプロセスには課題があります。データがビジネス価値を発揮するには、さまざまなソースから低レイテンシーで取り込む必要があります。しかし、多くの場合、これは高い複雑性とコストを伴うため、組織はレイテンシとコストのバランスを取らざるを得ません。
さまざまな業界のリーダーが、ストリーミングとバッチパイプラインを単一のアーキテクチャレイヤーに組み合わせるSnowflakeのシンプルなソリューションで、これらの課題に対処し、将来のビジネス要件に備えています。Snowflakeを活用し、AWSなどのパートナーと協力してデータを単一のプラットフォームに一元化することで、組織はよりコスト効率の高いストリーミングを実現しています。
ストリーミングのユースケースとアーキテクチャに関する業界の見解
当社の新しいeBookである「The Modern Data Streaming Pipeline」において、Snowflakeは、金融サービス、製造、ヘルスケア、サイバーセキュリティ、小売、広告、通信の7つの多様なセクターの数十社のお客様に働きかけ、最も一般的なストリーミングのユースケースを検討し、パフォーマンスと効率を最適化するためのアーキテクチャの選択肢を検討しました。
製造業を例として見てみましょう。データストリーミングは、製造企業が生産設備からのセンサー読み取り、在庫レベル、サプライヤーのパフォーマンス指標、顧客の需要パターンなどの重要なデータをバリューチェーン全体から取り込むのに役立ちます。この継続的なデータフローはメーカーにとってチャンスとなり、ユーザー行動データによる新たな収益源の創出、潜在的な問題の検出による運用コストの削減、設備性能データによる製品品質の向上を実現します。
以下は、IoTアナリティクスの製造リファレンスアーキテクチャであり、Snowflakeでの動作を説明しています。
- スマートデバイス、センサー、その他のIoTデバイスは、継続的なストリーミングデータを生成します。
- 信頼性の低いインターネット接続が頻繁に発生するため、IoTデバイスはMQTTやIoTメッセージブローカーなどのIoTプロトコルを使用して通信します。メッセージ ブローカーは、パブリッシュおよびサブスクライブ メカニズムを使用して他のサービスとやり取りし、ブローカー内の特定のトピックをサブスクライブしてデバイス データにアクセスします。
- ストリーミングサービスを使用すると、リアルタイムのデバイスデータを取り込み、行セットデータのSnowpipeストリーミングと合わせてバッファリングし、Snowflakeのステージングテーブルへの確実な取り込みと配信を実現できます。
- 強力なオーケストレーションが必要な場合、Snowflakeのストリーム機能とタスク機能により、受信データの集約に必要なワークフローが自動化されます。任意で、動的テーブル（現在パブリックプレビュー中）を使用して集計結果を集約および実体化することもできます。
- 動的テーブルを使用して増分処理を自動化し、継続的なデータ変換を実行。
- Snowparkを使用すると、データのエンリッチメントと検証をさらに進めることができます。
- その後、データはビジネスロジックによる変換やSnowparkによる機械学習トレーニングに使用されます。
DXC、Infosys、Kipi、LTIなどの製造パートナーは、Snowflakeのストリーミング機能と統合されたIoTソリューションを提供しています。
これはほんの始まりにすぎません。その他、小売における高度なパーソナライゼーション、ヘルスケアにおける医療IoTデバイスインジェスト、金融サービスにおける規制報告など、ストリーミング分析の最も重要なユースケースにSnowflakeをどのように利用しているかを、この業界と他の6つの業界のお客様が語りました。同社の推奨するストリーミングリファレンスアーキテクチャは、このような需要の高いユースケースのパフォーマンスと効率を最適化するのに役立ちます。
同業他社がどのようにSnowflakeをストリーミング分析に利用し、その過程で大きなメリットを実現しているかについては、以下のeBookをダウンロードしてご確認ください。最新のデータストリーミングパイプライン：7つの業界のトップストリーミングアーキテクチャとユースケース
著者
