第一原則から考える：Snowflakeを築いたアイデアと次への展望

Snowflakeを創設したチームの一員として、私たちが10年以上前に思い描いていたことが、現在台頭しつつあるエージェント型エンタープライズの基盤となっているのを見るのは驚くべきことです。2016年、私たちは、クラウドにおけるテクノロジーとデータの世界で可能な変革について、大胆なビジョンを示す論文を執筆しました。それから10年後、この論文が2026年のSIGMOD Test-of-Time Awardを受賞したことを光栄に思います。これにより、私たちはこの論文を再考し、私たちの考えが今日のSnowflakeという企業をどのように形成したか、そして私たちが次にどこへ向かっているのかを振り返る機会を得ました。

論文の中で、私たちはSnowflakeの創設を導いた3つの基本原則の概要を説明しました。

• すべてのデータを統合する：私たちは、構造化データ（従来のデータウェアハウス）とペタバイト規模の半構造化データ（Hadoopなどのビッグデータ）を統合できるプラットフォームを構築したいと考えていました。これにより、ファーストクラスのSQL、トランザクションの整合性、リアルタイムアクセスといったデータベースのコア原則を損なうことなく、シームレスな分析が可能になります。

• クラウドの伸縮性とスケーラビリティを活用する：オンデマンドのコンピュートと事実上無制限のスケールを使用することで、Snowflakeはすべてのデータとワークロードを処理できるようになり、従来のデータサイロを完全に排除しました。

• シンプルで使いやすくする：運用管理が不要なフルマネージドのクラウドサービスとして提供することで、データインフラストラクチャを管理する運用上の複雑さを排除し、ユーザーがメンテナンスではなくインサイトに集中できるようにすることを目指しました。

私たちがSnowflakeを創設した2012年当時、これらのアイデアは大胆なものでしたが、その後の長年にわたるイノベーションとテクノロジー開発の基盤となりました。

データプラットフォームを再構築した年

2012年、私たちはデータプラットフォームアーキテクチャをゼロから再考することから始めました。

既存のシステムは、クラウドではもはや意味をなさない前提条件に制約されていました。当時、ソフトウェアはそれが実行されるハードウェアに縛られていました。コンピュートとストレージが密接に結合しているため、パフォーマンス、同時実行性、コストの間でトレードオフが生じていました。クラウドアーキテクチャは、その制約からシステムを解放しました。

当時、私たちはコンピュートとストレージを完全に、そして妥協することなく分離するという意図的な決定を下しました。

これは単なるアーキテクチャ上の選択以上の意味を持っていました。これにより、何十年にもわたってデータシステムを定義づけてきたトレードオフが根本的に排除されました。コンピュートとストレージを分離することで、制限要因としてのリソース競合を排除しました。コンピュートは独立して拡張し、分離された状態を維持しながら、同じデータ上で動作する複数のワークロードを、干渉することなく同時にサポートできるようになりました。以前は制約であったものが、突如として競争上の優位性へと変わったのです。

また、私たちは初日からクラウドネイティブな構築に取り組み、クラウドオブジェクトストレージを基盤としました。JSONなどの半構造化データフォーマットの重要性が増すにつれ、部分的なサポートでは摩擦が長引くだけであることは明らかでした。このデータにSQLで完全にアクセスできるようにすることは、データを扱えるユーザーの裾野を広げるために不可欠でした。目的は単なる柔軟性のためだけではありませんでした。これは、意味のある形でアクセスを民主化することでした。

最後に、私たちは仮想ウェアハウスを導入しました。これは、オンデマンドで拡張する伸縮性と独立性を備えたコンピュートクラスターであり、モデルを完全に転換させました。チームが固定されたインフラストラクチャに合わせてワークロードを形成するのではなく、インフラストラクチャがビジネスのニーズにリアルタイムで適応できるようになったのです。

共同創業者のThierry Cruanesがよく言っていたように、「システムがワークロードに適応すべきであり、その逆ではありません」。

これらは単なる最適化ではなく、システムを定義するアーキテクチャ上の決定でした。

アーキテクチャを成果につなげる

アイデアを出すのは簡単なことです。難しいのはその実行です。

創業初期の課題は、単にプラットフォームを構築することだけではなく、それがなぜ重要なのかを市場に理解してもらうことでした。多くのユーザーは、固定された容量に合わせてシステムをチューニングし、競合を管理することを当然のこととして慣れていましたが、私たちはそれらの制約が古い設計の遺物であると信じていました。

私たちのアプローチを証明するには、一貫性が必要でした。つまり、 

• パフォーマンスは予測可能でなければなりませんでした。 

• スケーリングは自動的に機能しなければなりませんでした。 

• ユーザーはシステムを信頼できなければなりませんでした。

そして、これらすべてがシンプルに使えると感じられる必要がありました。機能はいつでも追加できますが、複雑さを排除するには規律が必要です。最終的に、Snowflakeがシステムへのアクセスを容易にし、幅広い普及を促進できたのは、私たちがシンプルさに徹底的に焦点を当てたからでした。

時間が経つにつれて、お客様の利用方法も進化しました。レポーティングとアナリティクスとして始まった利用方法は、データ共有、コラボレーション、継続的なパイプライン、機械学習、AIワークロードへと拡大しました。当初、分析ワークロードにSnowflakeを使用していた組織は現在、私たちが2016年に初めて説明したのと同じアーキテクチャと原則を使用して、プラットフォーム上に直接アプリケーションを構築しています。

エージェント型エンタープライズの推進  

AIがあらゆるビジネスに組み込まれるようになるにつれ、私たちは次のアーキテクチャのシフト、すなわちエージェント型エンタープライズへと突入しています。

過去10年間、Snowflakeは組織がデータをシングルプラットフォームに統合するのを支援してきました。

私たちが行ったアーキテクチャ上の決定の多くは、かつては型破りだと考えられていましたが、現在では業界標準の要件となっています。コンピュートとストレージの分離、伸縮性のあるスケーリング、半構造化データのネイティブサポートは、もはや差別化要因ではありません。これらはモダンなシステムにおける基本的な要件です。 

ミッションは続きます。システムは現在、より複雑なタスクを担うようになり、データプラットフォームの役割は拡大しています。Snowflakeは、セキュアデータシェアリングを可能にし、アプリケーションを強化し、もはやデータの保存やクエリだけに焦点を当てるのではない、進化し続けるインテリジェントなシステムの基盤として機能します。

今日、そうしたデータは中心的な役割を果たしています。企業はデータの価値を最大限に引き出すことに注力しており、データがどのように使用され、アクセスされ、アクションに結びつくかをAIが加速させています。 

AIエージェントはすでに、カスタマーサポート、財務、営業、オペレーションの各部門に導入されています。導入が加速するにつれて、おなじみの課題が浮上しています。これらのシステムは多くの場合、共有コンテキストや一貫したガバナンス、システム間の連携がないままサイロ化して構築されており、その結果、断片化が進み、信頼が得られにくく、インパクトも限定されます。

こうした課題が、次に打ち破るべき障壁です。

今日、ビジネスには新しいアーキテクチャレイヤーが必要です。それは、インテリジェンスをエンタープライズデータに接続し、共有コンテキストを提供し、ガバナンスを適用し、システム間でアクションを調整するコントロールプレーンです。

多くの意味で、これは私たちが当初から構築しようとしてきたことの自然な進化です。自律型システムの世界では、信頼できる唯一の情報源としてのデータの重要性は増すばかりです。今や、コンピュートとストレージを分離するだけではありません。データ、インテリジェンス、アクションを連携して接続することが重要です。

次の前線は、エンタープライズ規模でデータ、インテリジェンス、アクションをシームレスに接続し、エージェント型エンタープライズを現実のものにすることです。

これらの取り組みはどれも、単一のアイデアや単一のチームだけの成果ではありません。

この賞の受賞は、システムを常に新しい方向へと導いてくださるお客様とのコラボレーションに支えられた、エンジニアリング、プロダクト、そして市場開拓（GTM）の部門横断的なチームによる長年の努力の賜物です。

創業当初から、お客様中心主義はSnowflakeのコアバリューであり、今後も私たちを未来へと導き続けます。お客様は、私たちがより使いやすく、より効率的に運用できるシステムをどのように構築するかという方針を形成しています。これにより、私たちはお客様のデータから並外れた価値を引き出し、お客様の成功を支援することができます。

この研究に不可欠な貢献をし、今回の賞を共に受賞した素晴らしい共著者の方々に、この場を借りて深く感謝の意を表します。Vadim Antonov、Artin Avanes、Jon Bock、Jonathan Claybaugh、Daniel Engovatov、Martin Hentschel、Jiansheng Huang、Allison W. Lee、Ashish Motivala、Abdul Q. Munir、Steven Pelley、Peter Povinec、Greg Rahn、Spyridon Triantafyllis、Phillipp Unterbrunner、Marcin Zukowski。コラボレーションに感謝いたします。 

過去10年間を振り返ると、世界が変わったことは間違いありません。AIは可能とされることの定義を塗り替え、私たちが構築し運用する方法を再構築しています。状況は進化し続けていますが、イノベーションとお客様に対する私たちのコミットメントは変わりません。今後の展開が楽しみでなりません。