構築の背景：市場投入チームのための信頼できるAIの作成方法
経営幹部のセールスミーティングに参加する場合、リスクは高くなります。セールス担当者なら誰でも、顧客のビジネスを理解し、現在の目標やプロジェクトについて最新の情報を入手し、顧客との最近のタッチポイントをすべて把握している必要があります。正確性は重要です。準備に何時間もかかりそうに思えます。製品データ、CRMデータ、社内のセールスナレッジなど、すべてのインサイトを正確にかつ遅れずに把握するためには、AIを検討して「信頼できる」AIに頼る必要があります。
Snowflake Intelligenceは現在パブリックプレビュー中であり、この条件を実現しています。私たちはこの1年、市場投入チーム用の生成AIツールであるGTM AIアシスタントを構築してきました。構造化データと非構造化データの解釈、ビジネスコンテキストの理解、信頼できる実用的なインサイトの提供など、表面的な情報以上のことを可能にするように設計されています。
社内向けの単なるAIプロジェクトではありません。セールスジャーニー全体を通じてセールス担当者、オペレーター、エグゼクティブをサポートするエンタープライズグレードのシステムであり、業務を効率的かつ効果的に遂行するために必要なすべての情報を標準化し、民主化するものです。出力は正確でなければなりません。そして、設計上の意思決定も重要です。
ここからは、私たちが学んだ教訓をご紹介します。
教訓1：ペインポイントを明確に理解する
このプロセスは、セラーのワークフローを理解して摩擦ポイントを特定することから始めました。顧客とのミーティングの準備を例に挙げます。現在、顧客との面談の準備は、表示の切り替えが必要なマルチタブ方式で実行されています。セラーは、ダッシュボード、Salesforce、社内文書、サポートシステム、ウェブ検索を切り替えて、コンテキストを手動でつなぎ合わせています。
私たちは、AIによってその体験が対話型になることに気づき、Snowflake Intelligenceを使用しました。GTM AIアシスタントにより、セラーは私たちの販売データとナレッジリポジトリを最大限に活用できるようになり、情報の検索、検証、合成に費やす時間が大幅に短縮しました。最終的には、実際のビジネス成果につながるコアセールス活動により多くの時間を割くことができるようになります。
たとえば、セラーは次のような質問をすることができます。
- 「このユースケースに最も適切なトレーニングは何ですか」
- 「最近、顧客が採用した機能は何ですか。また、その機能がもたらす価値は何ですか」
- 「過去30日間のSnowflakeの消費状況を要約してください」
- 「（特定の）顧客で注意すべき領域は何ですか」
- 「類似のユースケースとして、どのようなものが挙げられますか」
そして、セラーは以下のような顧客情報を含む、コンテキストに沿った簡潔な回答を受け取ります。
- 会社概要：信頼できる公開ソースからの簡単なプロファイル
- Snowflakeフットプリント：契約条件、ワークロード、アカウントチーム、利用状況の傾向と予測
- 消費インサイト：12か月前のパフォーマンス（主なパターンと異常な事象）
- ユースケースの採用：Snowflakeの機能と業界のベンチマークにマッピングされた、アクティブなユースケースと新たなユースケース
- サポートエンゲージメント：最近のチケット、センチメント、未解決のエスカレーションの概要
- イネーブルメントとベストプラクティス：業界、ペルソナ、成熟度に合わせてカスタマイズされた、キュレートされたトレーニング、製品ガイド、トークトラック、ケーススタディ
これは単なる検索ではありません。論理的な推論です。アシスタントは基盤となるリソースの配列にアクセスし、コンテキストを解釈して重要事項を明らかにします。その結果、準備時間が短縮し、すべての会話で影響力が増大し、市場進出のコアな責任に集中できるようになります。
教訓2：適切なコンテンツがすべてのコンテンツを上回る
GTM AIアシスタントの設計方法については、慎重に検討しなければなりませんでした。Snowflakeには豊富な情報が含まれているため、信頼できる正確な結果をもたらす情報を決定する必要がありました。
アシスタントを設計する際に最初に決めたことの一つは、すべてにインデックスを付けないことでした。AIがすべてのスライドデッキ、Eメールスレッド、Slackチャンネルにアクセスできるからといって、「アクセスすべき」という意味ではありません。
LLMの応答の品質は、入力したコンテキストと同程度にしかなりません。企業では、そのコンテキストは乱雑で、冗長で、古かったり、矛盾していたりすることがよくあります。何十ものシステムにまたがる何千ものドキュメントのインデックス作成は包括的に見えますが、多くの場合、明確さではなく混乱が生じます。
そこで、私たちは別のアプローチを選択しました。
すべてのワークスペースとチャットログをクロールするのではなく、信頼できる最新のコンテンツをキュレーションし、GTM AIアシスタントが論理的な推論を実行できるようにしました。コンテンツには、以下が含まれます。
- 公式セールストレーニング資料
- 認定製品およびソリューションのマーケティング資料
- 主要なSlackチャンネル（信号雑音のしきい値あり）
- プロダクトチームとマーケティングチームによるイネーブルメントドキュメント
結果として、セールス担当者が「Snowparkをデータエンジニアにポジショニングする最良の方法はありますか」と尋ねた場合、アシスタントは古いセールススクリプトから推測するのではなく、その目的のために作成された精査された資料から直接抽出します。
高品質な入力に範囲を絞ることで、信号が劇的に改善し、ハルシネーションが減少します。これは、私たちが何度も学んだ教訓です。AIでは、コンテキストが多ければ多いほどよいというわけではありません。コンテキストの品質の方が重要です。
教訓3：構造化データが異なる
質問の種類によって、結果の「正確性」の解釈や評価は大きく異なります。オープンエンドの質問に対する回答では、さまざまな言い回し、長さ、構造で「正確な」情報を伝えることができます。
ここで、よくある質問を考えてみましょう。「私の顧客の第1四半期の消費収益はいくらでしたか」
ここでは、精度は妥協できません。回答は詳細なレベルまで正確でなければなりません。正解は1つだけです。
これは、ほとんどのLLMが直面する課題です。次の単語を予測するように確率的に設計されているため、精度が不可欠な構造化データでは不正確になる可能性があります。さらに、従来の決定論的クエリとは異なり、LLMは同じ正解を二度と返さない可能性もあるため、一貫性は正確性と同様に重要です。
これが、リスクが高くなる理由です。「ガバナンスと精度」こそ、生成AIに必要とされている領域です。
この課題は、LLMの柔軟性と構造化データの精度の間のギャップを埋める方法を慎重に検討しなければならないことを意味していました。私たちは、3つの主要な設計の柱を使用してこの課題に取り組みました。
1.適切なセマンティックデータファウンデーションの構築
構造化データの質問に対する回答をAIに任せるには、その回答の意味を一致させる必要がありました。
「会計年度」や「アクティブ顧客」などの定義は、企業ごとに異なります。その曖昧さがビジネスに存在すると、LLMでは誤差が増幅してしまいます。
私たちは、セールス、マーケティング、サポートにまたがる重要なメトリクス、エンティティ、ロジックを定義するという、共通のセマンティックレイヤーを構築することで対処しました。これらの定義に対して、Snowflakeのセマンティックビューでウェアハウスレベルでのモデリングを実行し、人間とAIの両方のシステムが解釈できるように文書化されます。
2.検証済みのクエリリポジトリ
Snowflakeは、データチームが精査したSQLクエリのキューレート済みライブラリを管理しており、一般的な質問に対応しています。セラーが「顧客の現在の利用状況はどうですか」と尋ねても、アシスタントは新しいクエリを作成せず、既知のテスト済みのクエリにマッピングします。検証済みのクエリが使用されると、チェックマーク付きのシールドアイコンが表示されます。ユーザーには「この回答は検証済みのクエリに基づいています」と表示されます。その小さなシグナルがユーザーの信頼を強化し、セラーは実験的な出力とエンタープライズグレードの回答を区別できます。
3.継続的なテストと評価
当社のチームは品質と一貫性を継続的に監視し、承認されたプロンプトに対して自動化されたテストを実行します。障害を発見したら、検証済みのクエリを拡張し、LLMへの指示を改良したり、メタデータを追加したりすることで、システムを改良します。また、サンプリング、手動レビュー、LLM審査を組み合わせて実際のパフォーマンスを評価し、アシスタントがユーザーのニーズを満たしていることを確認します。
今後の展望
Snowflakeは、GTMワークフローがAIソリューションで提供されるようになると考えています。しかし、こうしたAIソリューションには厳格さが必要なことを認識しています。私たちのチームの目標は、Snowflake内のすべてのワークフローにおいて、摩擦を取り除き、反復を自動化し、インサイトの自然な流れを作ることです。すでに、SnowflakeのGTM AIアシスタントは、Snowflakeのあらゆるチームがアカウントについて迅速に把握し、顧客データに関するインサイトを迅速に得て、適切なセールスリソースを瞬時に活用できるように支援しています。週に5,000件以上のユーザークエリに対応しているため、私たちのチームは数百時間を削減できました。そして、この取り組みは、まだ始まったばかりです。
私たちは、データを一流のプロダクトとして扱うことで前進しています。信頼を回答に直接組み込む必要があります。そして、単に推測すべき場合とすべきでない場合を把握したシステムを設計しなければなりません。
著者
