エージェントオブザーバビリティでAIのパフォーマンス、品質、コストを改善

AIエージェントはオブザーバビリティのあり方を変え、応答品質やAI支出に関する新たな課題をもたらしています。エージェントは、エラーなくリクエストを処理しても、誤った情報を取得したり、品質の低い応答を生成したりすることがあります。複数のステップからなるワークフローには、プロンプト、ツール呼び出し、情報取得、再試行、応答生成がそれぞれ複数含まれる場合があります。そのため、どの段階で品質が低下し、何がトークン消費量やコストを押し上げたのかを特定することが難しくなります。また、エージェントは従来のアプリケーションのリクエストよりも多くのテレメトリを生成するため、調査に必要なデータを保持するコストと複雑さが増します。コストを管理するために、チームはテレメトリのサンプリングや破棄に頼ることが多く、その結果、データが最も必要な場面で欠落が生じます。

Observe by Snowflakeのエージェントオブザーバビリティ（プライベートプレビューを近日提供予定）は、こうした新たな課題に対処するために設計されています。インタラクションがどのように進行するかを追跡し、エージェントの動作をコストや品質と関連付けることで、AIエージェントとLLMアプリケーションの監視、デバッグ、改善を可能にします。

エージェントオブザーバビリティは、エージェントのインタラクションのデバッグ、パフォーマンスや品質の問題の切り分け、AI支出を左右する要因の特定、ビジネス成果の改善に必要な計装、メトリクス、ツール、UIを提供する予定です。Snowflake上にネイティブに構築されたObserveは、大規模なエージェントテレメトリをコスト効率よく保持、分析できるように設計されています。チームは、これらの運用シグナルをSnowflake上のビジネスデータと関連付けることで、有意義な成果を生むエージェントやワークフローを把握し、成果が不十分なものを改善し、最も価値を生む領域にAI投資を振り向けることができます。

エージェントオブザーバビリティでは、次のことが可能になります。

• 任意で利用できるOpenTelemetry準拠SDKまたは既存の計装によるエージェントの計装：策定が進むOpenTelemetry（OTel）の生成AIセマンティック規約に準拠したSDKを使用して、プロンプト、生成された応答、情報取得、ツール呼び出し、トークン使用量、セッションIDを取得します。このSDKには、LangChain、Anthropic Agents SDK、OpenAI Agents SDKに対する、テストおよび検証済みのサポートが含まれています。チームは、エージェントを自ら計装したり、カスタムフレームワークを使用したりすることもできます。そのうえで、適切に計装されたトレースをOTLPエンドポイント経由でObserveに送信できます。
• Agent Explorerでの会話の検索とデバッグ：トレース、セッション、会話を横断的に検索し、エージェントがどのように動作したか、どのツールを呼び出したか、どこで障害や予期しない応答が発生し始めたかを確認します。
• パフォーマンス、使用量、コストの監視：レイテンシー、エラー、コストなど、エージェントのトレースから得られるメトリクスを分析します。
• 本番トラフィックに対するLLMを評価者とするオンライン評価の実行：ハルシネーション、ガードレールの機能不全、品質の低い応答を検出します。評価結果を元のスパンやトレースに関連付け、品質を継続的に監視します。
• オフライン評価結果の追跡：既存の開発、テストワークフローの結果をトレースまたはメトリクスとしてObserveに送信し、可視化します。
• プログラムによるテレメトリへのクエリ実行：APIを使用し、サードパーティのエージェントや自動化されたワークフローから、トレース、メトリクス、オンライン評価結果にクエリを実行します。

組織が展開するエージェントを増やし、ユースケースを拡大するにつれて、エージェントの動作を把握するために必要なテレメトリも急増します。この増加の要因は、エージェントのインタラクションの構造にあります。エージェントのトレースには、モデル呼び出し、情報取得、ツール呼び出し、再試行、中間出力など、インタラクションを構成するステップのシーケンスが記録されます。そのため、従来のアプリケーションのトレースに比べ、エージェントのトレースは継続時間が長く、各スパンが大きく、生成されるスパンの数も多くなります。

これは、多くのチームにデータに関する課題をもたらします。重要なインタラクションを再構成するには十分な詳細情報が必要ですが、それだけのテレメトリを保持すると、オブザーバビリティのコストが大幅に増加する可能性があります。データ量の増加によりサンプリングや破棄を余儀なくされ、調査に必要な情報が欠落することを、すでに懸念しているチームもあります。

Observeは大量かつ複雑なイベントデータを扱うために構築されており、エージェントオブザーバビリティに、詳細を忠実に記録したエージェントテレメトリの保持とクエリに必要なアーキテクチャを提供します。

Observeでは、次のことが可能です。

• 長時間にわたるトレースや会話を欠落なく保持：Observeは、アプリケーションパフォーマンス監視製品で採用しているイベントベースのアプローチを、エージェントのインタラクションにも拡張しています。スパンをイベントとして保存し、トレースIDと会話IDでクエリを実行することで、遅れて到着したスパンや長い空白期間も、一連のインタラクションの一部として保持します。
• 豊富なコンテキストを含む大きなスパンへのクエリ実行：Snowflakeは複雑な半構造化イベントデータをネイティブにサポートしています。そのためObserveは、貴重な詳細情報を削ることなく、プロンプト、モデルの応答、取得したコンテキスト、ツールの入出力を保存し、クエリを実行するのに適しています。
• 増加するテレメトリをコスト効率よく保持：クラウドオブジェクトストレージは、詳細なエージェントテレメトリを低コストで保存できるように設計されています。また、Observeのテレメトリレイクハウス基盤はストレージとコンピュートを分離しているため、チームはより多くのデータを保持しながら、検索、分析、デバッグに必要なコンピュートを独立して拡張できます。

エージェントが望ましくない結果を出したとき、最終的な応答だけで全容を把握できることはほとんどありません。エンジニアは、エージェントが受け取ったコンテキスト、実行したモデル呼び出し、情報取得、ツール呼び出し、再試行のシーケンス、各ステップで生成された中間出力、そしてワークフローが意図した結果から外れ始めた箇所を把握する必要があります。

お客様からは、こうした情報がアプリケーション、エージェントフレームワーク、モデルプロバイダー、関連サービスに分散していることが多いと伺っています。リクエストが自社環境を離れると可視性を失うチームもあります。その場合、レイテンシー、エラー、予期しない動作に関するユーザーからの苦情の調査に、数時間から数日かかることがあります。こうしたチームには、エージェントのエンドツーエンドのワークフローを1か所で追跡し、デバッグする手段が必要です。

Observeは、これらのインタラクションの背景にあるコンテキストを取得し、会話、セッション、トレース、個々のスパンにわたって、エージェントの特性を踏まえたビューに整理するように設計されています。Agent Explorerでは、取得した属性を使ってエージェントのインタラクションを横断的に検索し、会話からその基となるトレースへと掘り下げることができます。プロンプト、生成された応答、取得したコンテキスト、ツールの動作、再試行を確認し、障害や予期しない応答が発生し始めた箇所を特定できます。

応答の遅延や誤りは、モデルの処理、情報取得、ツールの使用、オーケストレーションなど、エージェントのワークフロー内で生じる場合があります。また、エージェントを支えるアプリケーション、サービス、インフラストラクチャのコンポーネントにある問題が原因となる場合もあります。ObserveのContext Graphは、エージェントテレメトリを関連するアプリケーション、サービス、API、データベース、インフラストラクチャと結び付けます。これにより、チームはエージェントのワークフローを単独で扱うのではなく、エージェントのスパンを上流と下流の依存関係と関連付けることができます。

従来のオブザーバビリティでは、リクエストが迅速かつエラーなく完了したことは確認できますが、その応答が正確で、関連性があり、有用だったかどうかは判断できません。非決定性システムでは、品質を本番環境で測定可能なシグナルにする必要があります。

Observeは、本番環境のトレースに対するLLMを評価者とするオンライン評価をサポートし、その結果をチームが継続的に監視できるメトリクスに変換します。各評価結果は元のインタラクションに関連付けられているため、エンジニアは品質問題の原因をプロンプト、取得したコンテキスト、ツールの選択、関連サービス、モデルの応答までさかのぼって調べ、変更によって本番環境での動作が改善したかどうかを評価できます。

また、既存のオフライン評価ワークフローの結果を、トレースまたはメトリクスとしてObserveに送信することもできます。使い慣れたツールを置き換えることなく、開発時の結果と本番環境での動作を共通のビューで確認できます。

お客様との対話では、AI支出が価値を生んでいるかどうかを判断するには、トークン総数だけでは不十分だという声を伺っています。リーダーは、使用量をアプリケーションやプロジェクトにひも付け、その支出によって何が達成されたのかを把握したいと考えています。そのためには、モデルの選択、プロンプトのサイズ、取得したコンテキスト、ツールの使用、再試行、ワークフローの設計など、エージェントのインタラクションのコストとパフォーマンスに影響する要因への可視性が必要です。エンジニアリングチームは、このデータを分析し、品質を改善せずにコストを増やす不要な再試行や高価なモデルの選択といった非効率を特定できます。たとえば、設定が不適切な評価ワークフローは、利用可能なAI予算を想定よりもはるかに速く消費する可能性があります。

Observeは、エージェントのトレースからレイテンシー、エラー、トークン使用量、推定コストのシグナルを導き出し、チームがエージェント、モデル、ワークフローを比較して、非効率な実行経路を特定できるようにします。低コストのモデルでも、評価で不合格となる結果が増えるなら、より良い選択とは限りません。一方、高コストのモデルも、有意義な品質改善をもたらさなければ、その費用に見合わない可能性があります。

ここで、ObserveとSnowflakeの機能の組み合わせが力を発揮します。Observeは、AI支出の最適化に向けて、パフォーマンス、品質、コストのバランスをより適切に取れるよう支援します。Snowflakeは、そうした判断の影響を理解するために必要なビジネスコンテキストを提供します。チームは、顧客向けエージェントであれば顧客体験、解決率、コンバージョン、収益と、社内アプリケーションであればタスクの完了や従業員の生産性と、エージェントの動作を関連付けることができます。これにより、組織はエージェントが生み出す成果に基づいて改善を進め、価値を創出する領域にAI投資を振り向けることができます。

エージェントのアーキテクチャは急速に進化しています。オブザーバビリティが、チームの使用するモデル、フレームワーク、ゲートウェイの選択を制限すべきではありません。お客様からは、すでにカスタムフレームワーク、評価に特化した製品、クラウドネイティブサービスを組み合わせて利用していると伺っています。お客様には、別の専有データ形式に縛られたり、アーキテクチャの変更に合わせて計装を再構築したりすることなく、これらの環境全体で一貫した可視性を得る手段が必要です。

Observeは、OTLPエンドポイント経由でOTelネイティブの収集をサポートしています。また、任意で利用できるOTel準拠SDKにより、策定が進む生成AIセマンティック規約を使用して、エージェントテレメトリを手軽に取得し、関連付けることができます。オープン標準へのこの取り組みは、Apache Iceberg™を通じてストレージにも及んでいます。Observeの機能は、Icebergテーブルに保存されたサポート対象のテレメトリで利用できます。また、互換性のあるエンジンは、オープンなRESTカタログを通じて同じデータにアクセスできます。

OTelとIcebergを組み合わせることで、チームはObserveの調査、監視機能を維持しながら、計装、ストレージ、クエリエンジン全体で柔軟性を保つことができます。

Observeのエージェントオブザーバビリティは、プライベートプレビューとして近日提供予定です。エージェントのインタラクションの調査、本番環境の品質評価、AI支出の最適化、大規模なエージェントテレメトリの保持が必要な場合は、ぜひお問い合わせください。

• Snowflakeのオブザーバビリティ担当ゼネラルマネージャーであるJeremy Burtonとプロダクト担当エグゼクティブバイスプレジデントであるChristian Kleinermanが知見を共有する、10月22日のエージェントオブザーバビリティ発表イベントへの登録
• Observeのアカウントチームに問い合わせてプライベートプレビューへのアクセスを申請

本記事には、今後提供予定の製品に関する記述など、将来の見通しに関する記述が含まれていますが、いかなる製品の提供も確約するものではありません。実際の結果や提供内容は異なる可能性があり、既知および未知のリスクや不確実性の影響を受けます。詳細については、当社の最新の10-Qをご確認ください。

Apache®、Apache Iceberg™および関連するマークは、米国およびその他の国におけるApache Software Foundationの登録商標または商標です。