Snowflakeのリアルタイム分析：ストリーミング、鮮度の維持、高速な提供

お客様とのすべてのやり取りは、信頼を得るか、関心を失うかのどちらかの機会となります。競争力を維持するためには、企業はそのやり取りが終わる前に行動を起こす必要があります。金融サービスチームは、クライアントとポートフォリオの調整について話し合うために、最新の市場データを必要としています。ネットワーク運用チームは、ライブサポートの会話中に影響を受けたお客様を支援するために、ネットワークの低下が始まった瞬間を把握する必要があります。小売企業は、お客様がまだ買い物をしている間に体験をパーソナライズし、リアルタイムの需要に基づいて在庫レベルを最適化する必要があります。そしてAIエージェントは、次善のアクションを推奨したり、問題を解決したり、意思決定をサポートしたりするために、信頼できる最新かつ正確なコンテキストを必要とします。

どの場合でも、データの価値は、チームが何が起きているかを把握してから行動を起こすまで、どれだけ迅速に動けるかにかかっています。チームが問題を早期に特定し、その影響を理解してその場で行動できれば、収益が増加し、顧客体験が向上し、より良い意思決定が可能になります。この緊急性とインサイトへのスピードこそが、自社を競合他社から引き離す要因となります。しかし、リアルタイムスタックの構築は、多くの場合、取り込み、変換、提供のための別々のシステムを手作業でつなぎ合わせることを意味していました。つまり、プロデューサーをメッセージブローカーに接続し、別々の変換ジョブを立ち上げ、結果をさらに別のデータベースに格納することです。各レイヤーには、運用するインフラストラクチャ、雇用する専門家、破損する可能性のあるパイプライン、管理するコスト、維持するセキュリティルールの追加が伴います。

そのためSnowflakeは、リアルタイム分析をより簡単に構築でき、コスト効率よく拡張でき、すべてのステップでガバナンスを効かせることができる、統合されたエクスペリエンスを導入します。これにより、SnowflakeネイティブテーブルとApache Iceberg™テーブル全体で接続性、変換、提供が統合されるため、チームは断片化されたスタックを管理したり、エンジンやツールの選択の自由を放棄したりすることなく、最新のデータを意思決定に活用できます。

リアルタイム分析とは、ライブデータを数秒以内に信頼できるインサイトとアクションに変える機能です。リアルタイム分析は、イベントの発生に合わせてデータを処理および分析し、人やシステムに現在何が起きているかを示します。適切なレイテンシーはワークロードによって異なります。

Snowflakeは現在、リアルタイムでのエンドツーエンドのアナリティクスのために、接続性、変換、提供を統合しています。このブログ記事では、これらの機能、つまりデータを接続し、処理中に変換し、高速に提供する方法に焦点を当てます。Snowflakeは、チームがそれぞれのニーズに合わせてアーキテクチャを再構築することなく、以下のニーズを満たすように設計されています。

• 大規模環境でのシンプルさ：背後にあるすべてのシステムの専門家にならなくても、リアルタイムパイプラインを構築できます。Snowflakeは、接続性、変換、提供にわたるインフラストラクチャ、スケーリング、パイプラインを管理します。Snowflake CoCoのスキルにより、パイプラインのセットアップがガイド付きの会話に変わります。必要なものを説明するだけで、CoCoがロジックを構成、構築、実装します。
• 低い総コストで高速なパフォーマンスを実現：完全に独立したリアルタイムスタックに費用をかけることなく、最新のインサイトを提供します。チームは、個別の提供用データベースや重複したストレージの必要性を排除し、それらの運用、監視、トラブルシューティングに必要なエンジニアリングの労力も削減できます。社内テストでは、Snowpipe Streaming、ストリーミング変換、およびSnowflakeインタラクティブアナリティクスを使用した場合、エンドツーエンドのレイテンシーのP50が3秒^[1]であることが確認されています。
• すべてのステップでのガバナンス：統合された環境で、データとAIアセットを検出し、セキュアにし、構築します。Horizonカタログは、Snowflake全体でアクセス制御、リネージ、データ品質、ビジネスコンテキストを統合します。データとAIアセットのデータ品質モニタリングとデータ分類により、組織全体で信頼を構築します。

リアルタイム分析は、データを迅速かつ簡単に取り込むことから始まります。Snowpipe Streamingは、アプリケーション、デバイス、サービスからのデータをSnowflakeネイティブテーブルまたはIcebergテーブルに直接取り込みます。チームは、自社のアーキテクチャに合ったテーブルフォーマットを柔軟に選択できます。ネイティブテーブルは、運用アナリティクスやアプリケーション向けのシンプルでフルマネージドなパスを提供します。Icebergテーブルは、他のツールがアクセスできるオープンな形式でデータを保持します。データは数秒でクエリ可能になり、取り込みベースの定額料金モデルでテーブルあたり最大20GB/秒のスループットを実現します。

取り込みは、多くの場合、リアルタイムプロジェクトが出荷されるかどうかを決定する項目となります。新しいソースを追加するたびにコストが上昇すると、チームは希望するよりも少ないデータしかライブ状態に保てなくなります。同等のワークロードにおいて、Snowpipe StreamingはZerobusよりも5倍安く^[2]、ClickPipesよりも80%安価です^[3]。取り込むデータに基づいた定額料金を支払うため、ソースを追加してもコストは予測可能なままです。

金融サービスチームにとって、1秒1秒が重要です。取引活動、トランザクション記録、運用イベントを数秒以内に分析できるようにすることで、チームは最新の情報に基づいて行動できるようになります。Cboe Global Marketsは、このアプローチの規模を実証しており、Snowpipe Streamingを使用して1日あたり1,900億行を30秒未満で格納し、そのデータをインタラクティブウェアハウスを通じてアナリストに直接提供しています。

イベントの量が増えても、チームは取り込みの仕組みの管理に多くの時間を費やすべきではありません。Snowpipe StreamingのElastic Channels（一般提供）を使用すると、アプリやIoTデバイスを含む何百ものプロデューサーが、単一の弾力性のあるチャネルを通じて1つの宛先に書き込むことができます。追加のチャネルを作成または管理することなく、より多くのソースを接続できます。Snowflakeは、ボリュームの増加に合わせて取り込みパスを自動的にスケーリングします。配信は正確に1回だけ順序付けられるため、チームはダウンストリームで重複排除ロジックを記述する代わりに、分析に時間を費やすことができます。社内テストでは、スループットをさらに押し上げ、単一のテーブルへの書き込みで41GB/秒に達しました。

多くのチームはApache Kafka®のプロデューサーとコンシューマーを導入していますが、ストリーミングインフラストラクチャは多くの場合、インフラストラクチャエンジニア向けに設計されています。Datastream（まもなくパブリックプレビュー、現在はプライベートプレビュー）は、データ中心のアプローチを採用しています。これはSnowflakeネイティブのKafka互換サービスであり、データチームはブローカーを運用したり、データをテーブルに移動するための個別のコネクタレイヤーを維持したりすることなく、マネージドエンドポイントで既存のKafkaプロデューサーとコンシューマーを使用できます。データ中心のストリーミングは、ガバナンスの効いたデータアセットを中心にチームを再編成するため、パーティション、レプリケーション、クラスター容量ではなく、トピック、鮮度、パイプラインを管理するようになります。MintedやZywaveなどのお客様は、このアプローチを使用して、個別のKafkaとSnowflakeの認証、ロール、監視を削減しています。

最新のデータは、ビジネスが必要とする形になって初めて意味を持ちます。ストリーミング変換（プライベートプレビュー）は、Snowpipe Streamingでの取り込み中にデータをフィルタリング、強化、再形成、集計することで、受信データをリアルタイムでアナリティクスに使用できるようにします。チームはSQLパイプ定義でロジックを1度定義するだけで、レコードはテーブルに格納される前に変換されます。

チームは、無関係なイベントを除外したり、受信レコードをリファレンスデータで強化したり、カスタムロジックを適用したり、ネストされた配列を個々の行に展開したりできます。変換を取り込みパスに組み込むことで、ストリーミングスタックが簡素化され、最終的にデータがより早く有用になります。これは、すでにいくつかのSnowflakeのお客様が実感していることです。ある産業用機器の製造企業は、アナリティクスワークフローが一貫した名前のレコードを受け取れるように、お客様とアセットの識別子を標準化しています。一方、あるサイバーセキュリティ企業は、ストリーミング変換を使用してセキュリティイベントをリアルタイムで処理し、監視とレポートの処理コストとレイテンシーを削減しています。

サポートされている他のワークロードの場合、ストリーミング変換は、外部のストリーム処理レイヤーの必要性や、データが格納された後のダウンストリーム変換の構築、スケジュール設定、維持の必要性を排除するのに役立ちます。これは、運用するインフラストラクチャが減り、生のイベントから実用的なインサイトまでのパスが短くなることを意味します。ストリーミング変換は、標準のSnowflakeテーブル、インタラクティブテーブル、およびSnowflakeマネージドIcebergテーブルをサポートしています。現在の取り込みから提供までの鮮度目標は、インタラクティブの場合は3秒未満、標準およびIcebergシンクの場合は10秒未満です。

ラストマイルは、多くのリアルタイムプロジェクトが失敗する場所です。ダッシュボード、お客様向けアプリ、AIエージェントはすべて同時に同じデータにアクセスするため、チームは対応するために別の提供用データベースに手を伸ばすことがよくあります。インタラクティブアナリティクスは、これらのワークロードをSnowflakeで直接提供します。

社内テストでは、インタラクティブウェアハウスは、標準のウェアハウスと比較して9倍高い同時実行性と3倍低いレイテンシーで1秒未満のクエリを提供しました。ゼロコピーインタラクティブ（一般提供）を使用すると、既存の標準テーブル、動的テーブル、Icebergテーブルで直接実行されます。低レイテンシーの提供のために専用のコピーは必要ありません。ストリーミング取り込みの場合、テーブルあたり最大41GB/秒をサポートし、データは数秒以内にクエリ可能になります。

McKnight Consulting Groupが実施した2つのベンチマークテストでは、同等の時間あたりのコンピュートコストで、Snowflakeは最大32の同時ユーザーまで、テストされたすべての同時実行性レベルで100%のクエリを完了しました。また、ダッシュボードクエリにおいて、主要なリアルタイム分析データベースの5倍以上のスループットを提供した一方で、競合他社は高カーディナリティの集計の73%で失敗しました。突然の5倍のトラフィックスパイクをシミュレートした3番目のテストでは、Snowflakeは自動的にスケールアウトし、99.997%のクエリをSLA内に維持し、p99レイテンシーはピークに合わせてサイズ設定された競合他社よりも40%低くなりました。Snowflakeの結果に匹敵するためには、競合他社はピークサイズの容量を24時間体制で実行する必要があり、年間コストはほぼ2倍（31,273ドル対15,959ドル）になります。

提供はビジネスで使用するのと同じガバナンスの効いたデータで行われるため、維持する同期ジョブやセキュアにする2番目のコピーはありません。チームはデータを1回保存し、そのコピーから提供するため、ボリュームと同時実行性が増加してもコストは予測可能なままです。

ある例では、個別の脅威検出プラットフォームを立ち上げるのではなく、Canvaはデータに検出機能をもたらしました。インタラクティブアナリティクスは、ライブ監査ログとCanvaがすでにSnowflakeに保持している信頼できるリファレンスデータに対して、1分間に数千の検出クエリを実行し、維持する2番目のコピーはありません。本番環境レベルの評価では、インタラクティブウェアハウスは、同等の標準ウェアハウスの10倍以上の同時負荷を、大幅に低いモデル化コストで処理しました。

企業は、最新のデータを意思決定に変えるためのよりシンプルな方法を必要としています。Snowflakeは、運用がシンプルで、提供が高速で、コスト効率よく拡張でき、ネイティブテーブルとIcebergテーブル全体でオープンであり、最初のイベントから最終的な意思決定までガバナンスが効いた、リアルタイム分析のための統合環境を提供します。そして、Snowflake CoCoにより、すべてのステップの構築が容易になります。必要なものを自然言語で説明するだけで、CoCoが接続性のセットアップ、変換の構築、インタラクティブアナリティクスの構成を支援します。

オンデマンドウェビナー「リアルタイムデータ:エージェント型AIの基盤」で、各要素がどのように組み合わさるかをご覧ください。このウェビナーでは、ダッシュボード、アプリケーション、AIエージェントをサポートするリアルタイム分析を構築するためのベストプラクティスとリファレンスアーキテクチャを共有します。

1.  データ準備のレイテンシーの中央値（P50）である3秒は、2026年10月20日に実施されたSnowflakeの社内テストで測定されたものであり、Snowpipe Streaming、ストリーミング変換、およびインタラクティブアナリティクスを通るフルパスをカバーしています。↩
2.  コスト比較は、Snowpipe Streamingの0.0037クレジット/GB × 2.35ドル/クレジット（Snowflakeの平均クレジット価格）に基づいており、約0.0087ドル/GBに相当します。Databricks Zerobusの定価0.05ドル/GBと比較すると、これは約5.75倍になり、平均して約5倍に丸められます。↩
3.  ClickPipesの公開されているストリーミング取り込み価格0.04ドル/GBと比較すると、コストは約78%低くなり、80%に丸められます。ClickPipesはコンピュートに対しても別途課金しますが、これらの料金はこの比較から除外されています。↩