私は、誰もがより簡単に機械学習（ML）や人工知能（AI）にアクセスできるような取り組みを続けています。

私は20年以上前、コンピューター科学の学士号取得の一環としてHex and Qubic（3D tic-tac-toe）といったゲームに戦略を実装した際、AIの魅力に取りつかれました。大学院1年目にAIプランニングを少しかじり、その後2003年にGoogleでのインターンシップ中に実際のMLを目の当たりにした後は、MLに注力してきました。2004年にGoogleに入社してからの17年間は、MLテクノロジーの開発に費やしました。これらのテクノロジーはAlphabetグループ傘下の全企業および世界中のその他企業にオープンソースソフトウェアやクラウド機能を通じて提供されました。

Googleでは、MLや大規模システムの普及において第一線で活躍する多くの技術者と一緒に働く機会を得ました。世界的に有名なML研究者のYoram Singer氏とともに、新たなMLアルゴリズムの研究や導入も行いました。Explainable AI（説明可能なAI）やドメイン知識をMLへ落とし込む際の課題への理解を深めながら、Googleの検索ランキングにも携わりました。分散システム分野における第一人者、Tushar Chandra氏とともに大規模かつ非常に複雑なエンドツーエンドのMLシステムをいくつか構築しました。また、Ads、Search、YouTube、Cloud、Android、Waymo、その他のAlphabet企業のリーダーたちと協力して、MLベースのソリューションの開発やデプロイに携わりました。

このような経歴ながら、MLは私にとって2番目の専門分野であり、一番目はチェスです。

1985年、7歳のときに偶然始めたチェスは、その後、グランドマスターの称号を得たり、1997年にポーランドのジャガンで開催された世界ジュニアチェス選手権で優勝したりと国際的なキャリアとなりました。テクノロジー分野での実績よりもチェスの世界での実績が早かったことから、チェスの経験がエンジニアとしての成長にどのように生かされているのか関係づけようと試みる人もいます。

けれども私は、これは相関関係と因果関係を勘違いする例であると考えます。このようなケースはMLアルゴリズムの世界でも多く見られる課題です。私は生まれつき物事を深く考えるタイプで、常に長期的な向上や最適化を目指しており、この性格がチェスが強くなった理由だと思います。私はシステムを理解し、複雑さを受け入れ、価値を最大化するための難しい判断に膨大な時間を費やすことが気に入っています。チェスの世界では、チェスプレイヤーとして常に向上するための努力と振り返りを惜しまず、ゲーム中の駒の進め方において最良の判断をすることが必要です。テクノロジーの世界では、次に何を構築すべきか優先順位を付け、実施や効果を最大化するためにプロジェクトやチームをまとめあげながらシステムを設計することが重要です。

戦略的かつ合理的な考え方は、私が最近GoogleからSnowflakeへと転職したことにも関係してきます。私にとってこの転職は、MLについて深く考え、目的を持って行動し、人々にとって将来的にMLがどうあるべきかに影響するための論理的なステップでした。

Snowflakeへの転職理由

2015年までは、Google内の問題解決のためのMLテクノロジーの開発に注力していました。その当時、Google Cloudの担当者たちはML分野で何をすべきかを検討し始めていました。私は、今はSnowflakeのエンジニアリング担当SVPで当時はGoogleに所属していたGreg Czajkowskiと協力し、私たちの知見をどのようにGoogle Cloudに適用させるかを探索しました。私は特に、より多くの人がMLを利用できる新たなMLサービスや機能の設計に携われることに喜びを感じていました。

Google Cloudチームと数年間一緒に働いた後、私は、歴史が繰り返すということを経験しました。今回はクラウドおよびエンタープライズ設定においてです。私が10年以上かけて学んだのは、MLは魔法のような体験を生み出すけれども、ML自体は魔法でも何でもない、ということです。クラウドやエンタープライズ分野に注力している多くの企業は、MLをブラックボックスとして取り扱い、あらゆる競合他社を出し抜けるようなAIテクノロジーを構築できる万能策を探すことに過剰に力を注いでいました。

現実には、MLは使いやすいものではありません。単一のMLベースソリューションの構築に、多くの人やチームが関わるケースが多くなります。また、MLシステムの予測不可能な動きから、結果として生まれたソリューションはたいてい脆弱なものとなっています。MLシステムにより生じる通常のエラーは、人によって生じるエラーと異なって見えるため、このようなエラーの説明、デバッグ、改善が難しくなっています。このような分野にも進捗は見られますが、私は、MLが真の効果を発揮する機会は今後訪れる、と考えています。

昨年1年間、どうしたらMLの今後について最大の影響を与えることができるだろう、と考えていました。10近いさまざまな機会を検討した結果、Snowflakeに一番の可能性を感じました。その理由をご紹介します。

データグラビティと機械学習

Snowflakeは、ただ1つのシンプルな理由でMLやAIの転換分野で素晴らしい位置につけていました。その理由とは、どのようなMLシステムにおいてもデータが最重要要素である、という点です。より良いデータがより良いモデルにつながることは周知のことですが、データを使用してモデルをトレーニングするということは、エンドツーエンドのMLシステムにおいてデータが果たす役割のわずか一部でしかありません。例えば、MLシステムは継続的トレーニングやリアルタイム推論においてデータストリームに依存しています。複雑なビジネスロジックや消費者向け製品が関わるモデルや予測のような相関アーティファクトを多数生成しており、これらすべてが膨大な量のデータを使用、生成しています。素晴らしいエンドツーエンドのMLエクスペリエンスを提供するには、このようなデータすべてを整理、処理する包括的アプローチが必要です。

「データグラビティ」とは、膨大な量のデータを移行させる方が難しいため、サービスやアプリケーションがデータを引き込むのではなく、逆に、増え続けるデータに引き込まれるという現象です。周知のとおり、生成されるデータ量はこれまでにないものとなっています。そのため、時とともに蓄積されたデータもこれまでになく巨大化しており、その分、引力も増加しています。データはすべてのMLシステムにおいて最重要要素であり、データグラビティによってサービスやアプリケーションはデータ近くに集まってくることから、Snowflakeは今後どれだけ多くの企業がMLを活用できるかという点において、革新や形成の素晴らしい機会を保有していると言えます。

データ管理およびデータシェアリング

Snowflakeに入社する前は、Google Adsで2年間、ユーザー、広告主、そしてGoogleのために、長期的な価値の最適化を重視した多くのMLに関する取り組みの責任者を務めていました。この分野はより多くのデータが必ず良い結果につながるという非常に複雑な分野でした。最もシンプルな例は、私のチームの一部分が同じチームの別の一部とデータを共有するというケースでした。少し複雑なケースになると、ユーザーの短期的な行動や長期的な関心への理解を深めるために、Google Search、YouTube、Google Adsといった異なる製品領域にまたがってデータの共有が要求されました。非常に複雑なケースの中には、コンバージョンの最適化やユーザーをより深く理解するために、Googleと他の企業にまたがるデータの共有が必要なものもありました。チーム、組織、企業にまたがるデータの共有により、多くのMLシステムがGoogle Adsのエコシステム全体に対し、大幅な価値向上を実現することができました。

しかし、データシェアリングを容易にし、かつあらゆるポリシーやプライバシー規定を遵守した方法で実施することは、データガバナンスやデータ処理における高度な技術が必要でした。このような複雑性を解消するため、Google Adsが抱える膨大なリソースが使用されましたが、パートナー企業も彼ら自身のソリューションを必要としていたため、課題の一部への対応のみに終わっていました。以前私は、データ管理システムを当たり前のことだと受け止めていました。その後、Google Adsでの経験やパートナー企業との協働を通じ、大規模なデータの管理や共有が難しいという理由でどれだけ多くのMLの可能性が閉ざされてきたのかを理解するようになっていきました。2019年に初めてSnowflakeの名前を耳にしたとき、新たなデータ管理会社の1つとして頭の片隅に留めていました。2021年、Snowflakeの詳細を調べ、革新的なデータシェアリングテクノロジーについての記事を読み、データクラウドがいかに急速に成長しているかを知りました。これらすべてを総合し、データクラウドに加えて、ML機能やサービスの構築といった大きなかつ独自のビジネス機会があると判断しました。

技術ファーストかつ顧客ファーストな文化

Snowflakeの根幹はテクノロジー企業です。そのため、社内文化には、創立者の技術ファースト＆顧客ファーストの姿勢が反映されています。同社は非常に難しい技術課題を取り上げ、膨大な時間をかけて、世界で最も拡張性の高いマルチクラウドおよびクロスクラウドなデータプラットフォームにつながる革新的なソリューションを設計しました。このことが、誰でもがデータを共有し、そのデータに基にした他者でも利用できるサービスを構築できるデータクラウドを実現する基盤となりました。

私はSnowflakeに入社する前に、Snowflakeのエンジニアリングカルチャーについて書かれた「宇宙船『Snowflake』を支えるロケット」を読んでいました。今のところ、記事に書かれていた内容は、この数か月で私が体験したことと一致しています。創立者たちは非常に重要な技術や製品に関する問題すべてに積極的に関わっており、製品やエンジニアリングにおけるエクセレンス（卓越性）についての強いこだわりを持っています。危機感に煽られて近道や技術的負債へと引きずられるのではなく、チームは慎重に検討を重ね、時間をかけて健全な議論を行った上で、チームが結集して全力で最善の機能やソリューションの構築にあたっています。

さらに、企業理念にも強いこだわりがあり、この点は小規模企業ではよくあることですが、Snowflakeはその急速な成長にもかかわらず、現在もこの姿勢を維持しています。社内には、自分たちが革新的な世界を変える製品を構築しているのだ、というはっきりとしたエネルギーを感じます。取引がうまくいったときは喜び、うまくいかなかったときは今後どうすべきかを考えます。急速に成長するクラウドの世界で他の多くの企業も新たなテクノロジーの構築にしのぎを削る中、できるだけ迅速な発展に心血を注ぐ1つの大きなスポーツチームのようだと感じることがあります。

SnowflakeはML分野において長い歴史を有しているわけではないかもしれませんが、私はゼロから何かを生み出すのが好きなタイプです。Googleでも同じような体験をしました。今回はSnowflakeで、まったく新しい課題やビジネス機会に対して、同じような体験ができることを楽しみにしています。