Agent Observability로 AI 성능, 품질, 비용 개선

AI 에이전트는 옵저버빌리티 환경을 바꾸고 있으며, 응답 품질과 AI 지출에 대한 새로운 과제를 제기하고 있습니다. 에이전트는 오류 없이 요청을 완료하고도 잘못된 정보를 검색하거나 낮은 품질의 응답을 생성할 수 있습니다. 다단계 워크플로우에는 여러 프롬프트, 도구 호출, 검색, 재시도, 완료가 포함될 수 있어 품질이 어디서 저하됐고 무엇이 토큰 소비와 비용을 유발했는지 파악하기 어렵습니다. 또한 에이전트는 기존 애플리케이션 요청보다 더 많은 텔레메트리를 생성하므로, 조사에 필요한 데이터를 보존하는 비용과 복잡성이 증가합니다. 비용을 관리하기 위해 팀은 텔레메트리를 샘플링하거나 삭제하는 경우가 많고, 이로 인해 정작 데이터가 가장 필요한 순간에 공백이 발생합니다.

Agent Observability(곧 프라이빗 프리뷰 제공 예정)는 Observe by Snowflake에서 이러한 새로운 과제를 해결하도록 설계되었습니다. 팀은 상호작용이 전개되는 과정을 추적하고 에이전트 동작을 비용 및 품질과 연결함으로써 AI 에이전트와 LLM 애플리케이션을 모니터링, 디버깅, 개선할 수 있습니다.

Agent Observability는 에이전트 상호작용을 디버깅하고, 성능 및 품질 문제를 분리하며, AI 지출을 유발하는 요인을 파악하고, 비즈니스 성과를 개선하는 데 필요한 계측, 지표, 도구, UI를 제공합니다. Snowflake 기반으로 네이티브 구축된 Observe는 에이전트 텔레메트리를 대규모로 비용 효율적으로 보존하고 분석하도록 설계되었습니다. 팀은 이러한 운영 신호를 Snowflake의 비즈니스 데이터와 상관 분석하여 의미 있는 성과를 내는 에이전트와 워크플로우를 파악하고, 기대에 미치지 못하는 부분을 개선하며, 가장 큰 가치를 창출하는 영역에 AI 투자를 집중할 수 있습니다.

Agent Observability를 통해 팀은 다음을 수행할 수 있습니다.

• OpenTelemetry 호환 SDK(선택 사항)나 기존 계측 방식으로 에이전트 계측: 새롭게 자리 잡고 있는 OpenTelemetry(OTel) 생성형 AI 시맨틱 규칙을 따르는 SDK를 사용해 프롬프트, 완료, 검색, 도구 호출, 토큰 사용량, 세션 ID를 캡처할 수 있습니다. 이 SDK는 LangChain, Anthropic Agents SDK, OpenAI Agents SDK에 대해 테스트 및 검증된 지원을 포함합니다. 또한 팀은 에이전트를 직접 계측하거나 사용자 지정 프레임워크를 사용하는 경우에도, 계측한 트레이스를 OTLP 엔드포인트로 Observe에 보낼 수 있습니다.
• Agent Explorer에서 대화 검색 및 디버깅: 트레이스, 세션, 대화 전반을 검색해 에이전트가 어떻게 동작했는지, 어떤 도구를 호출했는지, 장애나 예상치 못한 응답이 어디서 시작됐는지 확인할 수 있습니다.
• 성능, 사용량, 비용 모니터링: 지연 시간, 오류, 비용 등 에이전트 트레이스에서 도출된 지표를 분석할 수 있습니다.
• 프로덕션 트래픽에 대한 온라인 LLM-as-judge 평가 실행: 할루시네이션, 가드레일 실패, 낮은 품질의 응답을 드러낼 수 있습니다. 평가 결과를 기반 스팬 및 추적과 연결하고, 시간의 흐름에 따라 품질을 모니터링할 수 있습니다.
• 오프라인 평가 결과 추적: 기존 개발 및 테스트 워크플로우의 결과를 추적 또는 지표로 Observe에 전송해 시각화할 수 있습니다.
• 프로그래밍 방식의 텔레메트리 쿼리: API를 사용해 서드 파티 에이전트와 자동화된 워크플로우의 추적, 지표, 온라인 평가 결과를 쿼리할 수 있습니다.

조직이 더 많은 에이전트를 배포하고 사용 사례를 확장할수록, 해당 에이전트를 이해하는 데 필요한 텔레메트리도 빠르게 증가합니다. 이러한 증가는 에이전트 상호작용의 구조에서 비롯됩니다. 에이전트 트레이스는 모델 호출, 검색, 도구 호출, 재시도, 중간 출력 등 에이전트 상호작용 이면의 단계 시퀀스를 기록합니다. 따라서 기존 애플리케이션 트레이스보다 더 오래 실행되고, 더 큰 스팬을 포함하며, 더 많은 스팬을 생성합니다.

이는 많은 팀에 데이터 과제를 야기합니다. 중요한 상호작용을 재구성하려면 충분한 세부 정보가 필요하지만, 그만큼 많은 텔레메트리를 보존하면 옵저버빌리티 비용이 크게 증가할 수 있습니다. 일부 팀은 이미 데이터 양 증가로 인해 데이터를 샘플링하거나 폐기할 수밖에 없고, 그 결과 조사 과정에 공백이 생길 수 있다고 우려하고 있습니다.

Observe는 대용량의 복잡한 이벤트 데이터를 위해 구축되어, Agent Observability가 고충실도 에이전트 텔레메트리를 보존하고 쿼리하는 데 필요한 아키텍처를 제공합니다.

Observe를 사용하면 팀은 다음을 수행할 수 있습니다.

• 장시간 실행되는 추적과 대화를 완전하게 유지: Observe는 Application Performance Monitoring에서 사용하는 이벤트 기반 접근 방식을 에이전트 상호작용으로 확장합니다. 스팬을 이벤트로 저장하고 추적 ID와 대화 ID로 쿼리함으로써, 늦게 도착한 스팬과 긴 간격도 완전한 상호작용의 일부로 유지합니다.
• 크고 컨텍스트가 풍부한 스팬 쿼리: Snowflake의 복잡한 반정형 이벤트 데이터에 대한 네이티브 지원 덕분에 Observe는 중요한 세부 정보를 제거하지 않고도 프롬프트, 모델 응답, 검색된 컨텍스트, 도구 입력 및 출력을 저장하고 쿼리하는 데 적합합니다.
• 증가하는 텔레메트리 볼륨을 비용 효율적으로 보존: 클라우드 오브젝트 스토리지는 상세한 에이전트 텔레메트리를 더 낮은 비용으로 저장할 수 있도록 설계되었습니다. 또한 Observe의 Telemetry Lakehouse Foundation은 스토리지와 컴퓨팅을 분리하므로, 팀은 더 많은 데이터를 보존하면서 검색, 분석, 디버깅을 위한 컴퓨팅을 독립적으로 확장할 수 있습니다.

에이전트가 좋지 않은 결과를 생성했을 때, 최종 응답만으로는 전체 상황을 파악하기 어렵습니다. 엔지니어는 에이전트가 받은 컨텍스트, 실행한 모델 호출과 검색, 도구 호출 및 재시도의 시퀀스, 각 단계에서 생성된 중간 출력, 워크플로우가 의도한 결과에서 벗어나기 시작한 지점을 이해해야 합니다.

고객들은 이러한 정보가 애플리케이션, 에이전트 프레임워크, 모델 공급자, 지원 서비스 전반에 흩어져 있는 경우가 많다고 말합니다. 일부 팀은 요청이 자체 환경을 벗어나는 순간 가시성을 잃습니다. 그 결과 지연 시간, 오류 또는 예상치 못한 동작에 대한 사용자 불만이 몇 시간 또는 며칠이 걸리는 조사로 이어질 수 있습니다. 이들은 엔드투엔드 에이전트 워크플로우를 한곳에서 추적하고 디버깅할 방법이 필요합니다.

Observe는 이러한 상호작용 이면의 컨텍스트를 캡처하고, 대화, 세션, 추적, 개별 스팬 전반에 걸쳐 에이전트 인식 뷰로 구성하도록 설계되었습니다. Agent Explorer를 사용하면 팀은 캡처된 속성을 기반으로 에이전트 상호작용을 검색한 뒤, 대화에서 그 기반이 되는 트레이스로 이동할 수 있습니다. 프롬프트, 완료, 검색된 컨텍스트, 도구 활동, 재시도를 검사해 장애나 예상치 못한 응답이 시작된 지점을 식별할 수 있습니다.

지연되거나 잘못된 응답은 모델 처리, 검색, 도구 사용, 오케스트레이션 등 에이전트 워크플로우 내부에서 비롯될 수 있습니다. 또한 지원 애플리케이션, 서비스 또는 인프라 구성 요소의 문제로 인해 발생할 수도 있습니다. Observe의 컨텍스트 그래프는 에이전트 텔레메트리를 관련 애플리케이션, 서비스, API, 데이터베이스, 인프라와 연결합니다. 이를 통해 팀은 에이전트 워크플로우를 고립적으로 다루는 대신, 에이전트 스팬을 업스트림 및 다운스트림 종속성과 상관 분석할 수 있습니다.

기존 옵저버빌리티는 요청이 빠르고 오류 없이 완료됐다는 사실은 보여줄 수 있지만, 응답이 정확하고 관련성이 있으며 유용했는지는 판단할 수 없습니다. 비결정론적 시스템에서는 품질이 측정 가능한 프로덕션 신호가 되어야 합니다.

Observe는 프로덕션 트레이스를 대상으로 온라인 LLM-as-judge 평가를 실행하고, 그 결과를 팀이 시간에 따라 모니터링할 수 있는 지표로 전환합니다. 각 결과가 해당 상호작용과 연결되므로, 엔지니어는 품질 문제를 프롬프트, 검색된 컨텍스트, 도구 선택, 지원 서비스 또는 모델 응답까지 추적하고 변경 사항이 프로덕션 동작을 개선하는지 평가할 수 있습니다.

또한 팀은 기존 오프라인 평가 워크플로우의 결과를 추적 또는 지표로 Observe에 전송할 수 있습니다. 선호하는 도구를 대체하지 않고도 개발 결과와 프로덕션 동작을 함께 볼 수 있는 공유 뷰를 제공합니다.

고객과의 대화에서, 토큰 총량만으로는 AI 지출이 가치를 창출하는지 판단하기에 충분하지 않다는 이야기를 자주 듣습니다. 리더들은 소비량을 애플리케이션이나 프로젝트 속성에 귀속하고, 해당 지출이 어떤 성과를 달성했는지 이해하고자 합니다. 이를 위해서는 모델 선택, 프롬프트 크기, 검색된 컨텍스트, 도구 사용, 재시도, 워크플로우 설계 등 에이전트 상호작용의 비용과 성능에 영향을 주는 요인에 대한 가시성이 필요합니다. 엔지니어링 팀은 이 데이터를 분석해 품질 개선 없이 비용만 증가시키는 불필요한 재시도나 고비용 모델 선택과 같은 비효율을 식별할 수 있습니다. 예를 들어 잘못 구성된 평가 워크플로우는 사용 가능한 AI 예산을 예상보다 훨씬 빠르게 소진할 수 있습니다.

Observe는 에이전트 트레이스에서 지연 시간, 오류, 토큰 사용량, 예상 비용 신호를 도출해 팀이 에이전트, 모델, 워크플로우를 비교하고 비효율적인 실행 경로를 식별할 수 있도록 지원합니다. 저비용 모델이라도 실패한 평가를 더 많이 생성한다면 더 나은 선택이 아닐 수 있습니다. 반대로 고비용 모델도 의미 있는 품질 개선을 제공하지 못한다면 그 비용을 정당화하기 어렵습니다.

바로 이 지점에서 Observe와 Snowflake 역량의 결합이 빛을 발합니다. Observe는 AI 지출을 최적화할 때 팀이 성능, 품질, 비용 사이에서 더 나은 절충점을 찾도록 지원합니다. Snowflake는 이러한 결정의 영향을 이해하는 데 필요한 비즈니스 맥락을 더합니다. 팀은 고객 대면 에이전트의 경우 에이전트 동작을 고객 경험, 해결률, 전환, 매출과 연계할 수 있고, 내부 애플리케이션의 경우 작업 완료와 직원 생산성에 연결할 수 있습니다. 이를 통해 조직은 에이전트가 만들어내는 성과를 기준으로 에이전트를 개선하고, 가치를 창출하는 영역에 AI 투자를 집중할 수 있습니다.

에이전트 아키텍처는 빠르게 진화하고 있으며, 옵저버빌리티가 팀이 사용하는 모델, 프레임워크, 게이트웨이를 제한해서는 안 됩니다. 고객들은 이미 사용자 지정 프레임워크, 전문 평가 제품, 클라우드 네이티브 서비스를 아우르는 환경에서 작업하고 있다고 말합니다. 이들은 또 다른 독점 데이터 형식에 종속되거나 아키텍처가 바뀔 때마다 계측을 다시 구축하지 않으면서도, 이러한 환경 전반에서 일관된 가시성을 확보할 방법이 필요합니다.

Observe는 OTLP 엔드포인트를 통한 OTel 네이티브 수집을 지원하며, 선택형 OTel 호환 SDK는 새롭게 자리 잡고 있는 생성형 AI 시맨틱 규칙을 사용해 에이전트 텔레메트리를 손쉽게 캡처하고 상관 분석하는 방법을 제공합니다. 개방형 표준에 대한 이러한 노력은 Apache Iceberg™를 통해 스토리지로도 확장됩니다. Observe 환경은 Iceberg 테이블에 저장된 지원 텔레메트리에서 작동할 수 있으며, 호환 엔진은 개방형 REST 카탈로그를 통해 동일한 데이터에 액세스할 수 있습니다.

OTel과 Iceberg는 함께 계측, 스토리지, 쿼리 엔진 전반에서 팀이 유연성을 유지하면서도 Observe의 조사 및 모니터링 기능을 활용할 수 있도록 지원합니다.

Observe의 Agent Observability는 곧 프라이빗 프리뷰로 제공될 예정입니다. 에이전트 상호작용 조사, 프로덕션 품질 평가, AI 지출 최적화 또는 에이전트 텔레메트리의 대규모 보존이 필요하다면 Snowflake에 문의해 주세요.

• Snowflake Observability 총괄 매니저 Jeremy Burton과 Snowflake 제품 부문 수석 부사장 Christian Kleinerman의 인사이트를 들을 수 있는 10월 22일 Agent Observability 출시 이벤트에 등록하세요.
• 프라이빗 프리뷰 액세스를 요청하려면 Observe 계정 팀에 문의하세요.

이 문서에는 향후 제품 제공에 관한 내용을 포함한 미래예측 진술이 포함되어 있으며, 어떠한 제품 제공을 약속하는 것이 아닙니다. 실제 결과와 제공 사항은 달라질 수 있으며, 알려진 위험과 알려지지 않은 위험 및 불확실성의 영향을 받을 수 있습니다. 자세한 내용은 최신 10-Q를 참조하세요.

Apache®, Apache Iceberg™ 및 관련 표장은 미국 및/또는 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다.