データがある場所でエンジンを動かす：ビッグブランド3社のレイクハウス上でのアナリティクスとAIの強化方法

データへのアクセスがかつてないほどに増加するなかで、企業は信頼性の高いアナリティクスとAIを大規模に提供することがかつてないほど困難になっていることに気づいています。データレイクがビジネスクリティカルなアナリティクスや意思決定のための共有基盤になるにつれて、信頼性、同時実行性、コスト予測可能性に関する課題が急速に浮上しています。

オープンテーブルとデータフォーマットは、この課題の一部に対処しつつあります。Apache Icebergなどのフォーマットは、データの保存とアクセスの方法を標準化することで、組織のデータ制御を強化し、エンジン間で相互運用可能なアナリティクスの基盤を構築します。しかし、オープン性だけではアナリティクスの問題は解決しません。

データが複数のクラウド、カタログ、ツールにまたがっているなかで、多くのチームはいまだにビジネスの期待に応えるアナリティクスの提供に苦労しています。パフォーマンスチューニング、運用オーバーヘッド、断片化されたセキュリティモデルは、生データと信頼できるインサイトの間に立ちはだかることがよくあります。

効率化を念頭に置き、アナリティクスアーキテクチャを再考する組織が増えています。ツールをデータのある場所で使用したいという動機は、オープンストレージで単一のガバナンスの確保されたデータを維持することにあります。それにより、チームはデータセットの移動や複製ではなく、価値の抽出に集中できます。

ここに新しいアプローチが形づくられつつあります。Apache Icebergなどのオープンテーブル形式をベースに、Deltaなどの追加形式をサポートすることで、Snowflakeはビジネスクリティカルなワークロード向けに設計された強力なアナリティクスエンジンをデータ自身に直接提供します。チームは、データを別のシステムに移行することなく、データの存在する場所ですべてのデータを扱えます。パフォーマンス、信頼性、コストに対する信頼を損なう必要はありません。

このアプローチは原理的には魅力的ですが、実践するとさらに効果的です。このラウンドアップでは、BMW Group、Indeed、WHOOPの3社のお客様が、このアプローチを自社のデータ資産全体にわたってアナリティクスとAIを強化し、オープンデータアーキテクチャを測定可能なビジネス成果に結びつけるためにどのように活用しているかを明らかにします。

ビジョンから実証へ

Indeed：コストを43%削減しながらセルフサービスデータアクセスをスケーリング

Indeedは、52ペタバイトのデータレイクを運営しており、ビジネス全体にわたってミッションクリティカルなレポート作成、分析、実験をサポートしています。セルフサービスアクセス（つまり、Apache Iceberg™テーブルの読み取りと書き込みの機能）の需要が高まるにつれて、データエンジニアリングチームはボトルネックを発生させることなくアナリティクスを拡張する方法を必要としていました。

Indeedは、データレイクをHive-ORCからApache Icebergに変換することで、オープンデータ戦略に沿った「write once, read anywhere (一度書いたらどこからでも読める)」アプローチを採用しました。Snowflakeでは、アナリストはHorizonカタログを通じて列レベルのセキュリティやマスキングなどのセキュリティとガバナンスの制御を維持しながら、Icebergテーブルを直接読み書きできます。

Indeedは社内テストにおいて、IcebergテーブルでSnowflakeを使用した場合、その環境で評価した他のアナリティクスエンジンと比較して、クエリコストが43%～74%低いことを確認しました。Indeedは、オープンフォーマット、ガバナンスの確保されたアクセス、高性能アナリティクスの組み合わせにより、拡張性に優れたレイクハウスでの実験、製品分析、インサイト生成を加速しています。

WHOOP：リアルタイムの健康インサイトを強化しながらコンピュート時間を短縮

​​WHOOPは、ウェアラブルデバイスから毎日何十億もの生体信号を分析し、会員のインサイト、製品イノベーション、ビジネス予測を強化しています。同社が規模を拡大するにつれて、機密性の高い医療情報のための強力なガバナンスを維持しながら、複数のシステムにわたっているデータを統合する方法が求められていました。

WHOOPは、Snowflake上にデータを統合し、Apache Icebergを使用することで、Horizonカタログを通じてセキュリティを維持しながらデータアクセスと管理を簡素化しました。同社は、新しいAI/ML財務予測モデルの実行速度が3倍になったことに気づき、運用の複雑さを軽減したことで、毎日20時間のコンピュートを削減しました。

BMWグループ：1万人のユーザーをグローバルなインサイトに接続し、25%の効率向上を実現 

BMWグループは、クラウドデータハブを通じて大規模なグローバルデータ環境を運用し、組織全体にわたって製造、サービス、サプライチェーン、持続可能性のユースケースのデータを集積しています。このプラットフォームは、柔軟性と一貫したガバナンスの両方が大規模に求められる、15のビジネスドメイン上の6,000以上のデータセット、月間1万人以上のユーザーへのサービス提供にまたがっています。

このベストオブブリードのアーキテクチャをサポートするために、BMWはApache IcebergとAWSネイティブのツールを使用してオープンな分散データを管理しており、高速で信頼性の高いアナリティクスが必要な場所ではSnowflakeを統合しています。Snowflakeは、BMWの既存のデータ資産に高パフォーマンスのコンピュートをもたらし、確立されたシステムの中断や不要なデータのコピーなしに複雑な運用分析を可能にします。

このアプローチは測定可能な結果をもたらしています。

複雑さから明確さへ

BMW Group、Indeed、WHOOPはそれぞれ異なる圧力に直面しましたが、共通のパターンがあります。それぞれが、アーキテクチャの効率性を維持し、ガバナンスの確保されたオープンな単一の基盤を維持するために、自社のデータのある場所でツールを使用することを優先しました。Apache Icebergのようなオープンテーブルフォーマットへの移行は、データ管理を大規模にするために必要な構造、一貫性、相互運用性を提供することを可能にしました。そして、Snowflakeは、オープンデータ上で直接実行できる信頼性の高いアナリティクスとAIエンジンを提供し、チームが利用規模に応じて同時実行性とコストを管理できるよう支援しました。

​こうした組織は、複数のエンジンやガバナンスレイヤーをつなぎ合わせるのではなく、データのある場所でSnowflakeを実行することで、すでにSnowflakeで実行されている作業を補完しました。統合された強力なアナリティクスエンジンをすべてのデータ資産に適用し、Snowflakeに保存されているオープンデータに対して直接作業を行いました。この変化により、データプラットフォームを再構築することなく、より迅速な移行、運用の簡素化、信頼性の高いアナリティクスとAIの提供が実現しました。

これらの例で、アーキテクチャの3つのコア原則が一貫して示されています。

• データの存在する場所にアクセス：Iceberg、Deltaテーブル、Parquetファイルなど、データの存在する場所で、データの移動や複製なしに作業できます。

• 大規模な高パフォーマンスの提供：ビジネスクリティカルなワークロードの同時実行をサポートし、利用の増加に応じて、スピード、パフォーマンスの信頼性、予測可能性を実現します。

• アナリティクスとAIの統合：単一のアナリティクスプラットフォームで、データの保管場所に関係なく組織全体のチームの意思決定を加速できます。

Snowflakeは、こうした組織のオープンアーキテクチャを置き換えたわけではありません。つまり、データに必要なパフォーマンスと信頼性をもたらし、オープン性と運用上の信頼性の間のトレードオフを排除しました。WHOOPのSLA遵守、BMWのコスト削減、Indeedのデータチームの影響力強化につながりました。 

以下の機能は、チームがデータの保管場所を変更することなく、実稼働グレードの分析エンジンをオープンデータに持ち込む仕組みを示しています。