注：本記事は(2022年1月24日)に公開された(Bagel Brands Simplifies Data Architecture with Snowflake Professional Services)を翻訳して公開したものです。
Bagel BrandsはEinstein Bros. Bagels、Bruegger’s、Noah’s New York Bagels、Manhattan Bagelを抱える親会社です。米国コロラド州デンバーに本社を置き、16,000人以上の従業員が国内の1,100店舗を超えるフランチャイズやライセンス契約店舗で業務にあたっています。
Bagel Brandsは、データアナリティクスやデータサイエンスの推進に向け、主流のモダンデータプラットフォームとしてAzure上で稼働するSnowflakeを選択し、さらにSnowflakeのマルチクラウド機能のメリットを生かしてクラス最高のツールやデータセットを活用できるよう、AWSインスタンスも導入しました。また、確実な本番導入の実現と価値創出までの時間短縮のため、Snowflakeのプロフェッショナルサービスチームを通じ、レジデントソリューションアーキテクトの雇用契約も保持しています。
課題：複雑なデータアーキテクチャ
社内および業界における規制を遵守するために、運用レポート用とデータサイエンス用に異なるデータ環境を保持することが一般的とされています。Bagel Brandsが以前のデータアーキテクチャで抱えていた課題は、データが物理的に分離していることでした。多数のSQL Serverシステムを経由するデータは、それぞれで変換された後にアナリティクスレイヤーに到達していました。そのため、組織全体でデータのサイロ化が発生し、可視化の制限やデータガバナンスの欠如を引き起こし、迅速かつ効率的な経営判断の妨げとなっていました。
これは、データドリブンな組織を目指すという事業目標の達成に影響を及ぼすだけでなく、ストレージコストの増大や、サイロ間でデータをシャッフルするための追加データパイプラインの構築のために、より多くのリソースが必要となるという問題を引き起こしていました。例えば、ETLワークロードの処理には、SQL ServerからSnowflake環境へデータを移行してDatabricksを使用していましたが、これには月額の追加費用が発生していました。SQL Serverを停止することはできないため、Bagel Brandsは、アイドル状態の時間も含め、常時稼働のコンピュート費用として、毎月数十万ドルもの経費を支払っていたことになります。
ソリューション：RSAと連携した、Snowflakeの最大活用に向けたステークホルダーの団結
Bagel Brandsのデータサイエンス＆アナリティクス担当ディレクターであるJessica Lee氏とデータアーキテクチャエンジニアリング担当ディレクターであるAnu Vadrevu氏は、Bagel BrandsのモダンデータプラットフォームとしてSnowflakeを選択し、簡素化された新たなデータアーキテクチャを導入することに決めました。これは、事業価値の創出を目指すデータサイエンスチームとデータアナリティクスチームの協働であり、技術的判断にはITチームのサポートを受けました。
Lee氏は次のように語っています。「この新たな方向性に基づき、開始時点から確実に実行する必要があったためSnowflake RSAを選びました。私たちのチームの人材は限られており、Snowflakeを私たちの組織に合わせて迅速かつ効率的にセットアップするには、RSAと協力して設計すべきだと考えました。そうすることにより、コストから、コンピュート、モデリング、アーキテクチャなど、あらゆる面での最適化が可能だと考えました。」
中間にあるSQLサーバーでの余計なデータサイロの発生を避けるため、生データはデータソースから直接Azureデータレイクストレージのランディングゾーンに呼び出されます。Snowpipeを使用することで、データはBagel Brands InsightsのSnowflakeデータクラウドにロードされ、Snowflakeデータマーケットプレイスの外部データは直接そこに読み込むことが可能です。管理やガバナンスのためのシングル・ソース・オブ・トゥルース（信頼できる唯一の情報源）を確立することで、ユーザーはPower BIやThoughtspotといったツールによる信頼性の高いデータを使用できるようになります。
成果：高性能かつコスト削減を実現する簡素化されたアーキテクチャ
Snowflakeデータクラウドのデプロイメントフレームワークは、下記の主要原則に基づいています。
- データサイロの解消およびエンタープライズとローカルのデータ資産の徹底管理
- 事業体全体におけるデータ資産の連携開発の実現
- 内部要件や法規制遵守のための事業分離への対応
- アジリティ、拡張性、管理しやすさの確立に向けた反復可能なパターンの提供
同社を担当したSnowflake RSAであるScott Reddingの戦略的な助言に従い、Bagel Brandsは体系的にSnowflakeの実装を進めました。まず、SQL Serverを取り除くことによりデータアーキテクチャを簡素化し、データ環境を分離して維持する必要性を排除しました。Snowflakeでは作成するデータベースの数にほぼ制限がなく、拡張可能なコンピュートにより全員をサポートすることができます。データサイエンスチームや運用レポートチームは、論理的に分離された専用のデータベースを保有しながら、データを移動したり複製したりすることなく、データベースをまたいで利用することができます。データサイロは解消され、データの徹底したガバナンス機能のもと、すべてが一元管理されるようになりました。
「Snowflakeによる圧縮に加え、SQL Serverを取り除いたことによるコスト削減により、Bagel Brands全体からデータを引き出せるストレージの構築が可能となりました。あらゆるデータを引き出し、より深く掘り下げることが可能になったため、データサイエンティストは、これまで検討してこなかったビジネスインサイトへの対応を見直せるようになりました。」
— Bagel Brands データサイエンス＆アナリティクス担当ディレクター、Jessica Lee氏
また、Snowpipeデータロードにはコストがほとんどかからないため、ETLワークロード用のDatabricksを既存のADFとADLSに置き換えました。性能の面では、Snowpipeとその即時トリガーを導入できたことにより、時間ベースのトリガーにより引き起こされていたタイムラグの削減につながりました。
結論
Bagel Brandsは、RSAからプロジェクトに基づく助言以上の知見を得て、組織全体で共有することができました。Lee氏は次のようにコメントしています。「Scottは小売分野に関連する業界知識があります。彼の経験から多くのことを学び、初期に陥りやすいリスクを避けることができました。
『これが当社のビジョンで、達成すべき目標です』と伝え、RSAがその実現を手助けしてくれるというのは、素晴らしいことです。」
— Bagel Brands データサイエンス＆アナリティクス担当ディレクター、Jessica Lee氏