Blog/KI und ML/Das Playbook zur Optimierung von KI-Funktionen: Höhere Qualität bei 89 % geringeren Kosten
18. Nov. 2026/Lesezeit: 8 MinutenKI und ML

Das Playbook zur Optimierung von KI-Funktionen: Höhere Qualität bei 89 % geringeren Kosten

Die Senkung der Kosten einer KI-gestützten Anwendung sollte nicht bedeuten, dass die Qualität beeinträchtigt wird, auf die ein Unternehmen angewiesen ist. Aber wie können Teams bei der Vielzahl an Modellen und Prompts, die zur Auswahl stehen, erkennen, welche Konfiguration ihre Qualitätsanforderungen zu geringeren Kosten erfüllt?

Stellen Sie sich eine Messaging-Anwendung vor, z. B. eine Dating-Plattform oder eine Kundenservice-App. Die Anwendung kann Cortex AI Functions verwenden, um Unterhaltungen zusammenzufassen und wiederkehrende Themen zu identifizieren, was Teams dabei hilft, den Service zu verbessern oder den Nutzer:innen relevantere Empfehlungen zu geben. Wenn die Akzeptanz wächst und die Anzahl der Nachrichten von Tausenden auf zig Millionen steigt, muss das Team diese Erkenntnisse nützlich halten und gleichzeitig die Kosten für ihre Generierung verwalten. Während ein kleineres Modell oder ein effizienterer Prompt die Kosten senken könnte, müssen Teams evaluieren, ob diese Änderungen weiterhin die Qualität liefern, die ihre Anwendung erfordert.

Um KI-Data-Engineers dabei zu helfen, Workloads kostengünstiger zu skalieren, ohne die Qualität zu opfern, auf die ihr Unternehmen angewiesen ist, haben wir ein natives Evaluierungs- und Optimierungs-Harness für Cortex AI Functions entwickelt. Mit AI_FUNCTION_EVALUATION können Teams die Ausgabequalität für ihren Anwendungsfall messen. AI_FUNCTION_OPTIMIZATION reduziert die manuelle Anpassung und hilft Teams dabei, Konfigurationen zu identifizieren, die die Inferenzkosten senken und gleichzeitig die Qualitätsanforderungen erfüllen, oder die Qualität verbessern, wenn die anfänglichen Ergebnisse nicht ausreichen. 

Verbinden Sie KI-Funktionen mit der Kundenerfahrung

Stellen Sie sich eine App für Freundschaftsvermittlung, Kundenservice oder Shopping vor, die Unterhaltungen nutzt, um relevantere Empfehlungen zu geben. Mit Cortex AI Functions können Teams multimodale Daten in Zusammenfassungen, wiederkehrende Themen, Betrugsrisiko-Flags und die von den Nutzer:innen angegebenen Präferenzen umwandeln, die diese Empfehlungen leiten. In der folgenden Unterhaltung würde eine Freundschaftsvermittlungsplattform dies beispielsweise als Betrugsrisiko kennzeichnen wollen:

source

Abbildung 1. Beispielunterhaltung auf einer Freundschaftsvermittlungsplattform, die Cortex AI Functions als Betrugsrisiko kennzeichnen würde.

 

Um Anwendungen zu entwickeln, die die richtigen Erkenntnisse liefern, benötigen Teams eine wiederholbare Methode, um KI-Ausgaben anhand von Geschäftserwartungen zu evaluieren und Prompts und Modelle zu vergleichen, ohne jede Änderung manuell testen zu müssen.

Dies hilft Teams bei der Beantwortung von zwei geschäftlichen Fragen: 

  • Produzieren unsere KI-Funktionen Ausgaben von ausreichend hoher Qualität, um Empfehlungen zu unterstützen, die den Nutzer:innen einen Mehrwert bieten? 

  • Können wir diese Qualität kostengünstiger liefern?

Der folgende Workflow verbindet vier Phasen – Erstellen, Evaluieren, Optimieren und Bereitstellen –, die Teams von der Auswahl von KI-Funktionen, Modellen und Prompts über die Validierung der Qualität und die Verbesserung der Kosteneffizienz bis hin zur Überführung der ausgewählten Verbesserungen in den Produktivbetrieb führen.

build-update

Abbildung 2: Der Lebenszyklus der KI-Funktion: Erstellen, Evaluieren, Optimieren und Bereitstellen.

 

Im Folgenden verfolgen wir diesen Lebenszyklus für eine Verbindungsanwendung, die eine nächste Aktion für verschiedene Nutzerunterhaltungen empfiehlt.

Erstellen: Verwandeln Sie Unterhaltungen in nützliche Empfehlungen

Viele Kunden verwenden AI_COMPLETE, um unstrukturierte Daten in Erkenntnisse umzuwandeln, von der Zusammenfassung von Unterhaltungen über die Identifizierung potenzieller Risiken bis hin zur Empfehlung der nächstbesten Aktion. 

Kunden können nun auch benutzerdefinierte KI-Funktionen definieren (allgemein verfügbar), um diese Logik in ihrem gesamten Unternehmen leicht wiederverwendbar zu machen. Teams können ihre Anweisungen und die Modellauswahl in eine Funktion verpacken, die Anwendungen über SQL aufrufen, wobei der Zugriff über die bestehenden Kontrollen von Snowflake verwaltet wird. Das bedeutet, dass Teams benutzerdefinierte KI-Funktionen zentral definieren können, anstatt sie in jeder Anwendung neu zu erstellen. 

Unsere erste Funktion, RECOMMEND_NEXT_ACTION, verwendet AI_COMPLETE, um eine Aktion für jede Unterhaltung zu empfehlen:

CREATE OR REPLACE AI FUNCTION RECOMMEND_NEXT_ACTION(CONVERSATION VARCHAR)
RETURNS VARCHAR
COMMENT = 'Baseline: recommend next action for a dating-app chat'
AS
$$
SELECT AI_COMPLETE(
    'claude-opus-5',
    'You review a chat between two users on a dating platform and recommend the next action for the platform. Return exactly one label in lowercase: suggest_date (strong mutual interest, a meetup is being proposed), send_icebreaker (low-effort chat that is stalling), recommend_similar_profiles (polite incompatibility or dealbreaker), safety_review (scams, money requests, harassment, explicit pressure, underage, threats, phishing links), keep_chatting (healthy rapport, no plan yet). Return only the label. Chat: ' || CONVERSATION
)::VARCHAR
$$;

Als Nächstes müssen Kunden verstehen, ob die Ausgaben ihrer benutzerdefinierten KI-Funktion ihren Qualitäts- und Kostenerwartungen entsprechen.

Evaluieren: Messen Sie die Qualität hinter den Empfehlungen

AI_FUNCTION_EVALUATION (jetzt allgemein verfügbar) macht Qualität direkt in Snowflake messbar. Es testet KI-Funktionen anhand von gekennzeichneten Beispielen und meldet Qualität, Token-Nutzung und Kosten, was Teams dabei hilft, zu beurteilen, ob ihre Implementierung die Qualitätsanforderungen erfüllt, und die Kosten pro Unterhaltung abzuschätzen, bevor sie auf größere Workloads skalieren. Beispielsweise ordnet die unten stehende Tabelle FRIENDS_PLATFORM_CHAT_EVAL jeder Nutzerunterhaltung eine expected_action zu und bietet so eine Referenz, um zu messen, wie gut die Funktion die entsprechende Aktion identifiziert.

chat

Abbildung 3: Die Tabelle FRIENDS_PLATFORM_CHATS_EVAL ordnet jeder Nutzerunterhaltung ein expected_action-Label zu, das die Referenz für die Bewertung der Ausgabe der Funktion ist.

 

Teams können eine Bewertungsmethode wählen, die zu ihrer KI-Transformationsaufgabe passt. Im Folgenden verwenden wir llm_judge, um die Empfehlungen der Funktion mit den erwarteten Aktionen zu vergleichen. Für feste Labels wie diese ist exact_match eine weitere Option. AI_FUNCTION_EVALUATION unterstützt verschiedene Evaluierungsmetriken für unterschiedliche KI-Transformationsaufgaben. Siehe die Dokumentation.

CREATE OR REPLACE EXPERIMENT DATING_CHAT_ACTION_EVAL
  TYPE = 'AI_FUNCTION_EVALUATION'
  FROM SPECIFICATION $$
    query_text: MY_DATABASE.PUBLIC.RECOMMEND_NEXT_ACTION(conversation)
    metrics:
      - name: llm_judge
    dataset:
      name: MY_DATABASE.PUBLIC.FRIENDS_PLATFORM_CHATS_EVAL
      version: v1
      ground_truth: expected_action
    evaluation:
      num_eval_runs: 1
  $$;

EXECUTE EXPERIMENT DATING_CHAT_ACTION_EVAL;

Die Ergebnisse bilden eine Baseline für den Vergleich von Alternativen. Sie helfen Teams auch dabei, Änderungen, die vielversprechend klingen, von Änderungen zu unterscheiden, die bessere Ausgaben produzieren.

Optimieren: Identifizieren Sie die qualitativ hochwertigste Option zu den niedrigsten Kosten für einen Anwendungsfall

Sobald wir die Baseline verstanden haben, können wir untersuchen, ob ein anderes Modell oder bessere Anweisungen die benötigte Qualität wirtschaftlicher liefern können.

AI_FUNCTION_OPTIMIZATION (jetzt allgemein verfügbar) automatisiert diese Suche. Das Produkt bringt eine Auswahl an agentischen Optimierungsalgorithmen, wie z. B. CoCoEvolve und GEPA von Snowflake, mit wenigen Klicks in Ihren Workload im Produktivbetrieb. Diese agentischen Optimierungsalgorithmen nutzen Evaluierungsfeedback, um alternative Implementierungen zu generieren und zu testen, wodurch der Bedarf an manueller Prompt-Anpassung reduziert wird.

Unter Verwendung der bereitgestellten Modelle, Evaluierungsdaten, Bewertungskriterien und des Budgets untersucht es Kombinationen aus Prompt, Modell und Funktionsimplementierung und zeichnet die Qualität und die Kosten jedes Kandidaten auf. Diese Ergebnisse helfen Teams dabei, Konfigurationen zu identifizieren, die die Inferenzkosten senken und gleichzeitig die Qualitätsanforderungen erfüllen, oder die Qualität verbessern, wenn die Baseline nicht ausreicht.

Für unsere Verbindungs-App schließen wir sowohl das Premium-Modell als auch kostengünstigere Alternativen ein. Anstatt jede Option manuell anzupassen, lassen wir AI_FUNCTION_OPTIMIZATION untersuchen, was jede mit besseren Anweisungen erreichen kann. Teams können eine Optimierung über einen geführten Workflow in der Snowsight-Oberfläche, mit CoCo oder direkt in SQL konfigurieren. Für den SQL-Ansatz konfiguriert das folgende Beispiel ein Optimierungsexperiment für die Funktion RECOMMEND_NEXT_ACTION unserer Verbindungs-App:

CREATE OR REPLACE EXPERIMENT DATING_CHAT_ACTION_OPT
  TYPE = 'AI_FUNCTION_OPTIMIZATION'
  FROM SPECIFICATION $$
    function:
      function_name: MY_DATABASE.PUBLIC.RECOMMEND_NEXT_ACTION
    dataset:
      name: MY_DATABASE.PUBLIC.FRIENDS_PLATFORM_CHATS_EVAL
      version: v1
      column_mapping:
        argument_mapping:
          CONVERSATION: conversation
        ground_truth: expected_action
    metrics:
      - name: llm_judge
    optimization:
      budget: medium
      models:
        - claude-opus-5
        - claude-sonnet-5
        - claude-haiku-4-5
      reflection_model: gpt-5-5
      algorithm: CoCoEvolve
  $$;

Die Ergebnisse zeigen, wie Optimierung die Qualität verbessern und gleichzeitig die Kosten für die Ausführung einer Anwendung in großem Maßstab senken kann. In diesem Beispiel erreicht ein optimierter Haiku-Kandidat einen Validierungsscore von 0,98, verglichen mit 0,95 für die Opus-Baseline, bei 89 % geringeren Inferenzkosten. Andere Kandidaten erzielen höhere Werte, aber diese Option verbessert die Baseline und senkt gleichzeitig die Kosten erheblich.

cost

Abbildung 4. Die Ergebnisse von AI_FUNCTION_OPTIMIZATION vergleichen Kandidatenkonfigurationen nach Qualitätsscore und Inferenzkosten. Ein optimierter Haiku-Kandidat erzielt 0,98 gegenüber 0,95 für die Opus-Baseline, bei 89 % geringeren Kosten.

 

Hinweis: Dieses Material enthält hypothetische Szenarien, die nur zu Informationszwecken erstellt wurden. Das Szenario und die Daten sind synthetisch. Szenarien sind nicht dazu gedacht, bestimmte Ergebnisse oder Kosteneinsparungen vorherzusagen oder zu garantieren. Die potenzielle Genauigkeit dieser Szenarien hängt von zahlreichen Faktoren ab, und Snowflake übernimmt keine Garantie dafür, dass Sie die angegebenen Ergebnisse erzielen.

Bereitstellen: Setzen Sie die beste KI-Funktion ein

Sobald wir eine Implementierung ausgewählt und validiert haben, können wir sie direkt aus dem Experiment als benutzerdefinierte KI-Funktion registrieren (wie in der Abbildung unten mit Snowsight zu sehen). Dadurch wird die optimierte Prompt- und Modellkonfiguration in eine wiederverwendbare Funktion überführt, sodass Teams die Verbesserung nutzen können, ohne die Logik neu erstellen zu müssen.

runs

Abbildung 5. Registrierung des ausgewählten Kandidaten als benutzerdefinierte KI-Funktion direkt aus dem Experiment in Snowsight.

 

Für unsere Verbindungs-App ist die Verwendung der optimierten Funktion ein einfacher SQL-Aufruf, genau wie bei jeder Cortex AI Function. Wir wenden sie auf Unterhaltungen im Produktivbetrieb an, um die nächste Aktion zu empfehlen:

 

SELECT
    chat_id,
    user_id,
    conversation,
    RECOMMEND_NEXT_ACTION(conversation) AS predicted_action
FROM FRIENDS_PLATFORM_CHATS

Die Anwendung erhält weiterhin dieselben Aktions-Labels, verwendet nun aber die Implementierung, die wir aufgrund ihrer Qualität und Kosten ausgewählt haben. Für unser Beispiel bedeutet das, dass das kostengünstigere Modell und der optimierte Prompt in der Live-Pipeline eingesetzt werden, wodurch ein Experimentergebnis in eine wirtschaftlichere Möglichkeit zur Bedienung der Nutzer:innen verwandelt wird.

Fazit

Benutzerdefinierte KI-Funktionen machen Funktionen wiederverwendbar. Evaluierung macht Qualität messbar. Optimierung hilft Teams dabei, wirtschaftlichere Wege zu finden, um sie bereitzustellen. Zusammen bieten diese Bausteine Teams einen wiederholbaren Weg von einer anfänglichen Implementierung zu einer fundierteren Entscheidung im Produktivbetrieb.

Wichtig ist, dass die Verbesserung eines KI-Workflows nicht bedeuten muss, zu einem teureren Modell zu wechseln. Es kann bedeuten, mehr aus den verfügbaren Modellen herauszuholen und zu wissen, wann es sich lohnt, für zusätzliche Funktionen zu bezahlen.

Jetzt entdecken

  • Folgen Sie dem Quickstart zur Optimierung von KI-Funktionen, um eine KI-Funktion zu erstellen, sie anhand von gekennzeichneten Beispielen zu evaluieren, optimierte Kandidaten zu vergleichen und Ihre ausgewählte Implementierung bereitzustellen. Wenden Sie dann denselben Workflow auf Ihren eigenen Anwendungsfall an, beginnend mit einer Funktion und einem repräsentativen Satz gekennzeichneter Beispiele.

  • Haben Sie bereits eine KI-Funktion zur Evaluierung? Bitten Sie Snowflake CoCo um Hilfe bei den ersten Schritten. Geben Sie /cortex-ai-function-studio in CoCo ein und wählen Sie Evaluate, um eine Evaluierung mit Ihrer Funktion und gekennzeichneten Daten einzurichten. Sie können auch einen geführten UI-Flow direkt über die Snowflake-Benutzeroberfläche „KI > KI-Funktionen > Evaluierung | Optimierung“ verwenden.

  • Für einen tieferen Einblick in die Technologie hinter der Optimierung lesen Sie, wie CoCoEvolve funktioniert.

 

Haftungsausschluss: Dieses Material enthält hypothetische Szenarien, die nur zu Informationszwecken erstellt wurden. Das Szenario und die Daten sind synthetisch. Szenarien sind nicht dazu gedacht, bestimmte Ergebnisse oder Kosteneinsparungen vorherzusagen oder zu garantieren. Die potenzielle Genauigkeit dieser Szenarien hängt von zahlreichen Faktoren ab, und Snowflake übernimmt keine Garantie dafür, dass Sie die angegebenen Ergebnisse erzielen.

Diesen Beitrag teilen

Subscribe to our blog newsletter

Get the best, coolest and latest delivered to your inbox each week

Where Data Does More