SparkからSnowflakeへの移行を成功させる秘訣：カスタマーストーリーと成果

現在のビジネス環境は競争が激しくなっており、適切なデータプラットフォームがあれば、強化されるか損なわれるかの分かれ目となります。さまざまな業界や組織のリーダーと話し、さまざまなデータプラットフォームを評価する際に彼らが気にかけていることを聞くのが大好きです。 

これらの会話の中で、私は何度も耳にするいくつかの質問があります。データプラットフォームのスケーラビリティと信頼性は十分か？私のチーム全員が簡単に使用できますか？コストはどのようになりますか？データのセキュリティとガバナンスはどのように維持されますか？ 

この決定の重要な要素は、インフラストラクチャーを構築する基盤テクノロジーを決定することです。マネージドApache Spark環境（Databricks、Amazon EMR、特定のClouderaの導入など）は、チームに複雑さ、予測不可能なコスト、セキュリティ懸念、パフォーマンス問題など、さまざまな課題をもたらす可能性があります。 

私は、これらの要因が、あらゆる規模と業界の組織がSnowflakeに移行する主な理由だと考えています。移行を通じて組織を支援し、それによって大きな成果を得ることは、私の仕事の中で最もやりがいのある部分です。新刊の「Secrets of Apache Spark to Snowflake Migration Success」では、AMN Healthcare、IGS Energy、Intercontinental Exchange、ニューヨーク証券取引所など、さまざまなお客様から寄せられる素晴らしいストーリーにスポットライトを当てています。 

ここでは、何百万ドルものコストを削減し、性能を高め、製品を迅速に市場に投入し、顧客に喜んでもらうために、マネージドSpark環境からSnowflakeへ移行している大手企業のほんの一例をご紹介します。 

Travelpassは、よりキュレートされた旅行者エクスペリエンスを提供し、コストを65%削減

Travelpassは、探索を通じて共通の基盤を発見するというアイデアに基づいて構築されており、旅行者のニーズを満たす最高のホテルや旅行体験を提供します。Travelpassのデータチームは、何を構築するかではなく、どのように構築するかに多くの時間を費やしていました。

DatabricksからSnowflakeへ移行したTravelpassは、より多くの人がデータを活用して効率性を高め、より多くの情報に基づく意思決定を行い、世界中の旅行者にパーソナライズされた体験を提供することができるようになりました。Snowflakeの使いやすさと親しみやすさのおかげで、Travelpassのデータエンジニアでなくても、有意義かつ迅速にSnowflakeのデータに貢献できるようになりました。

メリット： 

• 以前のプラットフォームであるDatabricksからSnowflakeに切り替えたことで、コストが65%削減された

• Snowflakeの動的テーブルにより、ビジネスユニットへのデータ提供の効率が350%向上

• 従来のシステムの手間のかかるデバッグを排除し、信頼性とエコシステムの安定性を強化

シカゴの商社、54%のコスト削減を達成し、初めて毎日のSLAを順守

有数のデリバティブ取引会社として知られるシカゴ取引会社（CTC）は、世界中の市場に流動性を提供し、買側と売側の双方に参加することで、効率的で安定した健全な市場を推進しています。CTCの調査プラットフォームは、取引しているすべての取引所からのフィード、過去の取引価格、サードパーティデータなど、何千ものソースから情報を収集しています。しかし、CTCはSnowflakeからマネージドSparkにデータを移動し、処理するためだけに年間80万ドルを支払っていました。 

これらのハードルを克服するために、CTCは処理をマネージドSparkから、データファウンデーションを構築済みのSnowflakeに移行しました。SnowflakeとSnowparkにより、CTCはコストの可視性とコントロールを強化すると同時に、データ処理ジョブの失敗を劇的に減らすことができました。これは、ジョブが常にクロックに逆らって実行されることを考慮すると、非常に大きな改善です。コストの削減により、CTCはデータを最大限に活用し、さらなるイノベーションとマーケットメイク能力の向上を実現しています。

メリット： 

• マネージドSparkからSnowflakeへの移行により、コストを54%削減（年間数百万ドル相当）

• Snowflakeの外部と外部へのデータの移動を排除することにより、年間80万ドルのコストを削減

• 市場開放の少なくとも1時間前にデータを利用するという日常的なSLA（Service Level Agreement）を初めて達成（Snowflake導入前は追跡できなかったマイルストーン） 

Swireが数百万ドルのコスト削減を達成し、モデルの導入を数週間短縮 

Swire Coca-Cola（米国）は、米国西部13州のコカ・コーラおよびその他の飲料ブランドのローカルボトラーで、毎日3,100万人の消費者に軽食を提供しています。Swireは、Snowflakeをシングル・ソース・オブ・トゥルース（信頼できる唯一の情報源）として利用し、AI/MLニーズを満たすために別途管理されたSparkプラットフォームを利用していました。しかし、複雑なインフラストラクチャーを管理することで、データチームがモデル構築に時間を取られ、遅延が生じていました。Sparkクラスターは無駄を避けるために手動メンテナンスが必要で、スピンアップに10～15分かかりました。また、Snowflakeの外部にあるマネージドSparkプラットフォームでは、データガバナンスの懸念が高まり、データの整合性とセキュリティが損なわれました。

Snowflakeは、SwireのAI/MLニーズの理想的なワンストップショップとして登場し、複雑さを大幅に軽減し、使いやすさを強化し、データガバナンスを向上させるための堅牢なフレームワークを提供する単一のプラットフォームを提供しました。これらの改善により、Swireは計画していた物流ルートを最適化し、燃料、運転手の費用、サービスにかかる全体的なコストを大幅に削減しました。市場投入までの時間への影響も同様に顕著で、SwireはSnowflake上でモデルをより迅速に開発できるようになりました。

メリット： 

• 計画的な物流ルートの最適化による数百万ドルのコスト削減

• 重要なAI/MLモデルのより迅速な展開により、市場投入までの時間を短縮し、数週間の時間短縮を実現 

• 合理化、自動化されたデータ管理による総保有コストの削減

移行の成功事例の増加 

これらは、組織が競争優位性を高めるためにSnowflakeに移行しようとしていることの始まりにすぎません。 

「Secrets of Apache Spark to Snowflake Migration Success」をダウンロードして、企業がSnowflakeに移行する5つの主な理由と、それらの移行が企業のコスト削減、複雑さの軽減、日常業務の信頼性向上にどのように役立つかをご覧ください。