Verbessern Sie KI-Performance, Qualität und Kosten mit Agent Observability

KI-Agenten verändern die Observability-Landschaft und bringen neue Bedenken hinsichtlich der Antwortqualität und der KI-Ausgaben mit sich. Ein Agent kann eine Anfrage fehlerfrei abschließen und dennoch die falschen Informationen abrufen oder eine Antwort von geringer Qualität liefern. Mehrstufige Workflows können mehrere Prompts, Tool-Aufrufe, Abrufe, Wiederholungsversuche und Vervollständigungen umfassen, was es schwierig macht, festzustellen, wo die Qualität nachgelassen hat und was den Token-Verbrauch und die Kosten in die Höhe getrieben hat. Agenten produzieren auch mehr Telemetriedaten als herkömmliche Anwendungsanfragen, was die Kosten und die Komplexität der Aufbewahrung der für die Untersuchung erforderlichen Daten erhöht. Um die Kosten zu verwalten, greifen Teams oft auf Sampling oder das Verwerfen von Telemetriedaten zurück, was zu Lücken führt, wenn sie die Daten am dringendsten benötigen.

Agent Observability (in Kürze als Private Preview verfügbar) in Observe von Snowflake wurde entwickelt, um diese neuen Herausforderungen zu bewältigen. Es ermöglicht Teams, KI-Agenten und LLM-Anwendungen zu überwachen, zu debuggen und zu verbessern, indem nachverfolgt wird, wie sich Interaktionen entfalten, und das Verhalten der Agenten mit Kosten und Qualität verknüpft wird.

Agent Observability wird die Instrumentierung, Metriken, Tools und Benutzeroberfläche bereitstellen, die Teams benötigen, um Agenteninteraktionen zu debuggen, Performance- und Qualitätsprobleme zu isolieren, die Treiber für KI-Ausgaben zu identifizieren und die Geschäftsergebnisse zu verbessern. Observe wurde nativ auf Snowflake entwickelt und ist darauf ausgelegt, Agenten-Telemetriedaten kostengünstig und in großem Maßstab aufzubewahren und zu analysieren. Teams können diese operativen Signale dann mit Geschäftsdaten auf Snowflake korrelieren, um zu verstehen, welche Agenten und Workflows aussagekräftige Ergebnisse liefern, diejenigen verbessern, die hinter den Erwartungen zurückbleiben, und KI-Investitionen in Bereiche lenken, die den größten Wert schaffen.

Mit Agent Observability können Teams:

• Agenten mit einem optionalen OpenTelemetry-kompatiblen SDK oder einer vorhandenen Instrumentierung instrumentieren: Erfassen Sie Prompts, Vervollständigungen, Abrufe, Tool-Aufrufe, Token-Nutzung und Sitzungs-IDs mithilfe eines SDKs, das den neuen semantischen GenAI-Konventionen von OpenTelemetry (OTel) folgt. Das SDK umfasst getestete und verifizierte Unterstützung für LangChain, das Anthropic Agents SDK und das OpenAI Agents SDK. Teams können Agenten auch selbst instrumentieren oder benutzerdefinierte Frameworks verwenden und dann ordnungsgemäß instrumentierte Traces über einen OTLP-Endpunkt an Observe senden.
• Konversationen im Agent Explorer suchen und debuggen: Suchen Sie über Traces, Sitzungen und Konversationen hinweg, um zu überprüfen, wie sich ein Agent verhalten hat, welche Tools er aufgerufen hat und wo ein Fehler oder eine unerwartete Antwort aufgetreten ist.
• Performance, Nutzung und Kosten überwachen: Analysieren Sie aus Agenten-Traces abgeleitete Metriken, einschließlich Latenz, Fehlern und Kosten.
• Online-LLM-as-a-Judge-Evaluierungen für den Produktions-Traffic ausführen: Decken Sie Halluzinationen, Guardrail-Fehler und Antworten von schlechter Qualität auf. Verknüpfen Sie Evaluierungsergebnisse mit den zugrunde liegenden Spans und Traces und überwachen Sie die Qualität im Laufe der Zeit.
• Offline-Evaluierungsergebnisse nachverfolgen: Senden Sie Ergebnisse aus vorhandenen Entwicklungs- und Test-Workflows als Traces oder Metriken zur Visualisierung an Observe.
• Telemetriedaten programmgesteuert abfragen: Verwenden Sie APIs, um Traces, Metriken und Online-Evaluierungsergebnisse von Drittanbieter-Agenten und automatisierten Workflows abzufragen.

Da Unternehmen immer mehr Agenten bereitstellen und ihre Anwendungsfälle erweitern, nehmen die Telemetriedaten, die zum Verständnis dieser Agenten erforderlich sind, schnell zu. Dieses Wachstum wird durch die Struktur der Agenteninteraktionen vorangetrieben. Ein Agenten-Trace zeichnet die Abfolge der Schritte hinter einer Agenteninteraktion auf, einschließlich Modellaufrufen, Abrufen, Tool-Aufrufen, Wiederholungsversuchen und Zwischenausgaben – was bedeutet, dass Agenten-Traces länger laufen, größere Spans enthalten und mehr Spans generieren als herkömmliche Applikations-Traces.

Dies stellt viele Teams vor eine Datenherausforderung. Sie benötigen genügend Details, um wichtige Interaktionen zu rekonstruieren, aber die Aufbewahrung so vieler Telemetriedaten kann die Observability-Kosten erheblich erhöhen. Einige Teams befürchten bereits, dass wachsende Volumina sie dazu zwingen werden, Daten zu sampeln oder zu verwerfen, was zu Lücken bei der Untersuchung führt.

Observe ist für komplexe Ereignisdaten mit hohem Volumen konzipiert und bietet Agent Observability die Architektur, die erforderlich ist, um hochpräzise Agenten-Telemetriedaten aufzubewahren und abzufragen.

Mit Observe können Teams:

• Lang laufende Traces und Konversationen vollständig aufbewahren: Observe weitet den ereignisbasierten Ansatz, der in seinem Application Performance Monitoring-Produkt verwendet wird, auf Agenteninteraktionen aus, speichert Spans als Ereignisse und fragt sie nach Trace-ID und Konversations-ID ab, sodass spät eintreffende Spans und lange Lücken Teil der vollständigen Interaktion bleiben.
• Große, kontextreiche Spans abfragen: Die native Unterstützung von Snowflake für komplexe, halbstrukturierte Ereignisdaten macht Observe gut geeignet für die Speicherung und Abfrage von Prompts, Modellantworten, abgerufenem Kontext sowie Tool-Eingaben und -Ausgaben, ohne wertvolle Details zu entfernen.
• Wachsende Telemetrievolumina kostengünstig aufbewahren: Cloud-Objektspeicher ist darauf ausgelegt, eine kostengünstigere Möglichkeit zur Speicherung detaillierter Agenten-Telemetriedaten zu bieten, während die Telemetry Lakehouse Foundation von Observe Speicher von Rechenressourcen trennt, sodass Teams mehr Daten aufbewahren und Rechenressourcen unabhängig für Suche, Analyse und Debugging skalieren können.

Wenn ein Agent ein schlechtes Ergebnis liefert, erzählt die endgültige Antwort selten die ganze Geschichte. Techniker müssen den Kontext verstehen, den der Agent erhalten hat, die Abfolge der Modellaufrufe, Abrufe, Tool-Aufrufe und Wiederholungsversuche, die er ausgeführt hat, die bei jedem Schritt erzeugten Zwischenausgaben und wo der Workflow begann, vom beabsichtigten Ergebnis abzuweichen.

Kunden berichten uns, dass diese Informationen oft über die Anwendung, das Agenten-Framework, den Modellanbieter und die unterstützenden Dienste fragmentiert sind. Einige Teams verlieren die Transparenz, sobald eine Anfrage ihre Umgebung verlässt, wodurch Benutzerbeschwerden über Latenz, Fehler oder unerwartetes Verhalten zu Untersuchungen werden, die Stunden oder Tage dauern können. Sie benötigen eine Möglichkeit, den End-to-End-Agenten-Workflow an einem Ort nachzuverfolgen und zu debuggen.

Observe wurde entwickelt, um den Kontext hinter diesen Interaktionen zu erfassen und ihn in agentenbezogenen Ansichten über Konversationen, Sitzungen, Traces und einzelne Spans hinweg zu organisieren. Mit dem Agent Explorer können Teams mithilfe erfasster Attribute über Agenteninteraktionen hinweg suchen und dann von einer Konversation zu den zugrunde liegenden Traces wechseln. Sie können Prompts, Vervollständigungen, abgerufenen Kontext, Tool-Aktivitäten und Wiederholungsversuche überprüfen, um festzustellen, wo ein Fehler oder eine unerwartete Antwort aufgetreten ist.

Eine verzögerte oder falsche Antwort kann innerhalb des Agenten-Workflows entstehen, z. B. während der Modellverarbeitung, des Abrufs, der Tool-Nutzung oder der Orchestrierung. Sie kann auch aus einem Problem in einer unterstützenden Anwendung, einem Dienst oder einer Infrastrukturkomponente resultieren. Der Context Graph von Observe verbindet Agenten-Telemetriedaten mit zugehörigen Anwendungen, Diensten, APIs, Datenbanken und der Infrastruktur und hilft Teams, Agenten-Spans mit Upstream- und Downstream-Abhängigkeiten zu korrelieren, anstatt den Agenten-Workflow isoliert zu betrachten.

Herkömmliche Observability kann zeigen, dass eine Anfrage schnell und fehlerfrei abgeschlossen wurde, aber sie kann nicht bestimmen, ob die Antwort genau, relevant oder nützlich war. Für nicht deterministische Systeme muss Qualität zu einem messbaren Produktionssignal werden.

Observe unterstützt Online-LLM-as-a-Judge-Evaluierungen anhand von Produktions-Traces und wandelt Ergebnisse in Metriken um, die Teams im Laufe der Zeit überwachen können. Da jedes Ergebnis mit der zugrunde liegenden Interaktion verknüpft ist, können Techniker:innen Qualitätsprobleme auf den Prompt, den abgerufenen Kontext, die Tool-Auswahl, unterstützende Dienste oder die Modellantwort zurückführen und beurteilen, ob Änderungen das Produktionsverhalten verbessern.

Teams können auch Ergebnisse aus vorhandenen Offline-Evaluierungs-Workflows als Traces oder Metriken an Observe senden und so eine gemeinsame Ansicht der Entwicklungsergebnisse und des Produktionsverhaltens bereitstellen, ohne ihre bevorzugten Tools zu ersetzen.

In Gesprächen mit Kunden hören wir, dass Token-Summen allein nicht ausreichen, um zu bestimmen, ob KI-Ausgaben einen Mehrwert schaffen. Führungskräfte möchten den Verbrauch einer Anwendung oder einem Projekt zuordnen und verstehen, was diese Ausgaben bewirkt haben. Dies erfordert Transparenz über die Faktoren, die sich auf die Kosten und die Performance einer Agenteninteraktion auswirken, einschließlich Modellauswahl, Prompt-Größe, abgerufenem Kontext, Tool-Nutzung, Wiederholungsversuchen und Workflow-Design. Entwicklungsteams können diese Daten analysieren, um Ineffizienzen wie unnötige Wiederholungsversuche oder teure Modellauswahlen zu identifizieren, die die Kosten erhöhen, ohne die Qualität zu verbessern. Beispielsweise kann ein schlecht konfigurierter Evaluierungs-Workflow das verfügbare KI-Budget viel schneller als erwartet aufbrauchen.

Observe leitet Latenz-, Fehler-, Token-Nutzungs- und geschätzte Kostensignale aus Agenten-Traces ab und hilft Teams, Agenten, Modelle und Workflows zu vergleichen und ineffiziente Ausführungspfade zu identifizieren. Ein kostengünstigeres Modell ist möglicherweise nicht die bessere Wahl, wenn es zu mehr fehlgeschlagenen Evaluierungen führt, während ein teureres Modell seine Kosten möglicherweise nicht rechtfertigt, wenn es keine signifikante Qualitätsverbesserung liefert.

Hier glänzt die Kombination der Funktionen von Observe und Snowflake. Observe hilft Teams, bessere Kompromisse zwischen Performance, Qualität und Kosten einzugehen, wenn es um die Optimierung von KI-Ausgaben geht; Snowflake fügt den Geschäftskontext hinzu, der erforderlich ist, um die Auswirkungen dieser Entscheidungen zu verstehen. Teams können das Verhalten von Agenten mit der Kundenerfahrung, den Lösungsraten, der Konversion und dem Umsatz für kundenorientierte Agenten oder mit dem Aufgabenabschluss und der Mitarbeiterproduktivität für interne Anwendungen korrelieren. Dies hilft Unternehmen, Agenten basierend auf den von ihnen erzielten Ergebnissen zu verbessern und KI-Investitionen auf das zu lenken, was Wert schafft.

Agentenarchitekturen entwickeln sich schnell weiter, und Observability sollte nicht einschränken, welche Modelle, Frameworks oder Gateways Teams verwenden. Kunden berichten uns, dass sie bereits mit benutzerdefinierten Frameworks, speziellen Evaluierungsprodukten und Cloud-nativen Diensten arbeiten. Sie benötigen eine Möglichkeit, konsistente Transparenz über diese Umgebungen hinweg zu erlangen, ohne an ein weiteres proprietäres Datenformat gebunden zu sein oder ihre Instrumentierung neu aufbauen zu müssen, wenn sich ihre Architektur ändert.

Observe unterstützt die OTel-native Erfassung über einen OTLP-Endpunkt, während sein optionales OTel-kompatibles SDK eine bequeme Möglichkeit bietet, Agenten-Telemetriedaten mithilfe neuer semantischer GenAI-Konventionen zu erfassen und zu korrelieren. Dieses Engagement für offene Standards erstreckt sich durch Apache Iceberg™ auch auf die Speicherung. Die Observe-Erfahrung kann mit unterstützten Telemetriedaten arbeiten, die in Iceberg Tables gespeichert sind, während kompatible Engines über einen offenen REST-Katalog auf dieselben Daten zugreifen können.

Zusammen helfen OTel und Iceberg Teams, die Flexibilität über Instrumentierungs-, Speicher- und Abfrage-Engines hinweg zu bewahren und gleichzeitig die Untersuchungs- und Überwachungsfunktionen von Observe beizubehalten.

Agent Observability in Observe ist in Kürze als Private Preview verfügbar. Wenn Ihr Team Agenteninteraktionen untersuchen, die Produktionsqualität evaluieren, KI-Ausgaben optimieren oder Agenten-Telemetriedaten in großem Maßstab aufbewahren muss, möchten wir von Ihnen hören.

• Registrieren Sie sich für unser Launch-Event für Agent Observability am 22. Oktober mit Einblicken von Jeremy Burton, General Manager of Observability bei Snowflake, und Christian Kleinerman, Executive Vice President of Product bei Snowflake.
• Wenden Sie sich an Ihr Observe-Account-Team, um Zugriff auf die Private Preview anzufordern.

Dieser Artikel enthält zukunftsgerichtete Aussagen, unter anderem zu unseren zukünftigen Produktangeboten, und stellt keine Verpflichtung zur Bereitstellung eines Produktangebots dar. Die tatsächlichen Ergebnisse und Angebote können abweichen und unterliegen bekannten und unbekannten Risiken und Ungewissheiten. Weitere Informationen finden Sie in unserem aktuellen Formular 10-Q.

Apache®, Apache Iceberg™ und zugehörige Marken sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern.