RLHF: Menschliches Feedback zur Verhaltensanpassung von KI-Modellen nutzen

Ein Sprachmodell weiß vielleicht, wie bestimmte Arten von Antworten normalerweise strukturiert sind – sei es eine Antwort des Kundensupports, eine Zusammenfassung einer Unternehmensrichtlinie oder eine Erklärung einer SQL-Abfrage –, aber ihm fehlt das nötige Urteilsvermögen, um die Ausgabe brauchbar zu machen. Dieses mangelnde Urteilsvermögen kann schwerwiegende Folgen für ein Unternehmen haben. Ein Modell, das Marketingtexte schreibt, Verträge zusammenfasst, Analyst:innen unterstützt oder Fragen von Mitarbeitenden beantwortet, agiert in einem Kontext, in dem Tonalität, Genauigkeit, Sicherheit und Richtliniengrenzen darüber entscheiden, ob der Ausgabe vertraut werden kann.

Reinforcement Learning from Human Feedback (RLHF) hat sich zu einer der wichtigsten Techniken entwickelt, um dieses mangelnde Urteilsvermögen zu beheben. Anstatt sich nur auf die Vorhersage des nächsten Tokens oder überwachte Beispiele zu verlassen, führt RLHF ein Präferenzsignal ein: Menschen vergleichen Modellausgaben, diese Vergleiche trainieren ein Reward-Modell, und das Sprachmodell wird optimiert, um Antworten zu generieren, die gemäß diesem erlernten Modell menschlicher Präferenzen besser abschneiden.

Obwohl RLHF kein Ersatz für Governance, Evaluierung oder Monitoring ist, bietet es Modellentwickler:innen eine Möglichkeit, Eigenschaften zu trainieren, die sich nur schwer als statisches Regelwerk ausdrücken lassen, darunter Unbedenklichkeit, Relevanz und die Fähigkeit, einer Absicht zu folgen.

RLHF ist eine Technik, um Sprachmodelle an menschliche Präferenzen anzupassen. In einem typischen Workflow beginnen Teams mit einem vortrainierten Basismodell, unterziehen es einer Feinanpassung anhand von Beispielen für das gewünschte Verhalten, trainieren ein Reward-Modell mit menschlichen Vergleichsdaten und optimieren dann das Sprachmodell, um Ausgaben zu generieren, die die Punktzahl des Reward-Modells maximieren.

RLHF erweitert die überwachte Feinanpassung, die einem Modell Beispiele für das gewünschte Verhalten zeigt. RLHF fügt ein Präferenzsignal hinzu, das dem Modell hilft zu lernen, welche Antwort Menschen für besser halten, wenn mehrere Ausgaben technisch möglich sind. Beispielsweise können zwei Ausgaben beide eine Frage zu einer Leistungsrichtlinie beantworten, aber eine zitiert möglicherweise die richtige Richtliniengrenze, vermeidet rechtliche Übertreibungen und teilt den Mitarbeitenden mit, wo sie ihre Anspruchsberechtigung bestätigen können, während die andere dies nicht tut. Bei dieser Präferenz geht es nicht nur um den sachlichen Inhalt – sie spiegelt ein Urteil darüber wider, was eine hilfreiche Antwort leisten sollte.

Die Arbeit von OpenAI zu InstructGPT aus dem Jahr 2022 ist der Standardreferenzpunkt für RLHF in modernen Sprachmodellen. Die Forscher:innen zeigten, dass eine Feinanpassung mit menschlichem Feedback Modelle besser auf die Absicht der Nutzer:innen abstimmen kann, was auch die Reduzierung von unwahren, toxischen oder wenig hilfreichen Ausgaben einschließt.

RLHF für Sprachmodelle unterscheidet sich in einem wichtigen Punkt vom standardmäßigen Reinforcement Learning. In einem Spiel oder einer Simulation kann die Umgebung oft eine direkte Belohnung liefern: Der Agent gewinnt, verliert, erreicht ein Ziel oder sammelt Punkte. Bei RLHF für Sprachmodelle ist die Umgebung das menschliche Urteilsvermögen und die Belohnung ist kein Ground-Truth-Score, sondern vielmehr eine erlernte Annäherung an menschliche Präferenzen, die anhand von Vergleichsdaten trainiert wurde.

RLHF ist leistungsstark, aber auch unvollkommen. Das Reward-Modell weiß nicht in einem absoluten Sinn, was Menschen wollen. Es kann nur Muster aus den erhaltenen Präferenzdaten lernen. Das bedeutet, dass die Qualität, Vielfalt und Konsistenz dieser Daten das Verhalten prägen, das das endgültige Modell lernt.

Eine RLHF-Pipeline umfasst in der Regel drei Phasen: überwachte Feinanpassung, Training des Reward-Modells und Policy Optimization durch Reinforcement Learning. Jede Phase fügt eine andere Art von Signal hinzu und bewegt das Modell von allgemeinen Sprachfähigkeiten hin zu einem Verhalten, das die menschliche Absicht besser widerspiegelt.

Phase 1: Überwachte Feinanpassung

Die Pipeline beginnt in der Regel mit einem vortrainierten Basismodell. Dieses Basismodell hat zwar breite Sprachmuster aus großen Trainingskorpora gelernt, aber nicht zwangsläufig, wie es sich als anweisungsbefolgender Assistent in einem bestimmten Kontext verhalten soll.

Die überwachte Feinanpassung (Supervised Fine-Tuning, SFT) liefert dem Modell Demonstrationsdaten: Prompts, die mit hochwertigen, von Menschen verfassten Antworten gepaart sind. Diese Beispiele lehren das Modell die Form des gewünschten Verhaltens. Diese Phase schafft ein anfängliches anweisungsbefolgendes Modell, löst aber noch nicht das Präferenzproblem – Demonstrationen zeigen, wie eine gute Ausgabe aussehen kann, aber sie lehren das Modell nicht direkt, wie es zwischen mehreren akzeptablen Antworten wählen soll, wenn eine hilfreicher, sicherer oder besser auf die Absicht der Nutzer:innen abgestimmt ist.

Phase 2: Training des Reward-Modells

In der zweiten Phase werden Vergleichsdaten eingeführt. Menschliche Annotator:innen überprüfen mehrere Modellausgaben für denselben Prompt und ordnen sie von der besten zur schlechtesten oder wählen die bevorzugte Antwort aus einem Paar. Diese Rangfolgen werden zu Trainingsdaten für ein Reward-Modell, das lernt, vorherzusagen, welche Ausgabe ein Mensch bevorzugen würde.

Dies ist der entscheidende Schritt bei RLHF. Anstatt Menschen zu bitten, jede ideale Antwort zu schreiben, fordert die Pipeline sie auf, Präferenzen zwischen Antwortkandidaten auszudrücken. Das macht es möglich, ein Modell auf nuanciertere Urteile zu trainieren: Welche Antwort direkter ist, welche besser mit Unsicherheit umgeht, welche zu ausweichend ist, welche unbelegte Behauptungen enthält und welche besser zum erwarteten Tonfall passt.

Das Reward-Modell ist in der Regel ein modifiziertes Sprachmodell, das einen Prompt und eine Antwort als Eingabe nimmt und dann einen Score zurückgibt. Dieser Score wird in der nächsten Trainingsphase zu einem Proxy für menschliche Präferenzen.

Phase 3: RL-Policy Optimization

In der dritten Phase wird das SFT-Modell zur Policy, die optimiert wird. Das Modell generiert Antworten, das Reward-Modell bewertet sie, und ein RL-Algorithmus wie Proximal Policy Optimization (PPO) aktualisiert das Sprachmodell, sodass es Ausgaben produziert, die höhere Belohnungsscores erhalten.

In dieser Phase kann das System instabil werden, wenn es nicht sorgfältig eingeschränkt wird. Wenn das Modell zu aggressiv gegen das Reward-Modell optimiert, entdeckt es möglicherweise Ausgaben, die gut abschneiden, ohne tatsächlich nützlicher zu werden. Dies wird als Reward Hacking bezeichnet: Das Modell nutzt Schwächen im Reward-Modell aus, anstatt das zugrunde liegende Verhalten zu verbessern.

Um dieses Risiko zu verringern, enthalten RLHF-Pipelines oft eine Kullback-Leibler-Divergenzstrafe (KL), die verhindert, dass das optimierte Modell zu weit von dem Modell mit überwachter Feinanpassung abweicht. In der Praxis verhindert die KL-Strafe, dass sich das Modell auf der Jagd nach Belohnungen zu stark verändert, und hilft dabei, die Sprachqualität und das während der SFT erlernte anweisungsbefolgende Verhalten zu bewahren.

Viele RLHF-Systeme laufen auch iterativ ab. Neue Modellausgaben decken neue Fehlermodi auf, menschliche Prüfer:innen generieren zusätzliche Präferenzdaten, das Reward-Modell wird aktualisiert und die Policy wird erneut optimiert. Die Pipeline gleicht weniger einem einmaligen Trainingsrezept als vielmehr einer Feedbackschleife zur Verhaltensformung.

RLHF gewann an Einfluss, weil es Modellentwickler:innen einen praktikablen Weg bot, auf menschliche Präferenzen zu trainieren. Die Methode bringt jedoch ihre eigenen operativen und Governance-Probleme mit sich. Das Signal ist nur so gut wie die Vergleichsdaten, das Reward-Modell kann von dem Verhalten abweichen, das die Menschen tatsächlich wollen, und die RL-Optimierung lässt sich mitunter nur schwer zuverlässig ausführen.

Qualität der Präferenzdaten

Präferenzdaten klingen unkompliziert, bis Teams definieren müssen, wer die Präferenz angibt und welchen Standard sie anwenden. Annotator:innen können unterschiedlicher Meinung darüber sein, ob eine Antwort für einen bestimmten Kontext hilfreicher, vorsichtiger oder angemessener ist. Kulturelle Annahmen können sich ebenfalls auf Labels auswirken, insbesondere wenn Prompts Tonfall, Sicherheit, medizinischen Rat, finanzielle Entscheidungen oder andere hochriskante Themen betreffen.

KI-Systeme für Unternehmen fügen eine weitere Ebene hinzu. Ein Modell, das für internen HR-Support, regulierte Branchen-Workflows oder kundenorientierten Service verwendet wird, benötigt möglicherweise Präferenzdaten von Personen, die die Domäne verstehen, und nicht nur von allgemeinen Annotator:innen. Dies erhöht die Kosten- und Koordinationsanforderungen, da Fachexpert:innen schwerer zu skalieren sind als große Teams von Labeling-Arbeitskräften.

Einschränkungen des Reward-Modells

Das Reward-Modell ist eine erlernte Annäherung, keine Autorität. Es kann unzuverlässiger werden, wenn die optimierte Policy Ausgaben generiert, die sich von den Beispielen unterscheiden, die das Reward-Modell während des Trainings gesehen hat. Dieser Distribution Shift bedeutet, dass das Reward-Modell möglicherweise Antworten in Bereichen bewerten muss, in denen sein eigenes Trainingssignal schwach ist.

Reward Hacking ist eine weitere Einschränkung. Wenn das Modell Muster lernt, die das Reward-Modell überbewertet, kann es Antworten generieren, die laut der Bewertung zwar bevorzugt erscheinen, aber für Nutzer:innen nicht tatsächlich besser sind. Beispielsweise kann es lernen, selbstbewusst klingende Erklärungen hinzuzufügen, sich übermäßig abzusichern oder oberflächlichen Mustern zu folgen, die Annotator:innen zuvor belohnt haben.

Trainingsinstabilität

Der RL-Schritt kann ebenfalls schwer anzupassen sein. PPO-basierte RLHF-Pipelines umfassen mehrere bewegliche Teile: das Policy-Modell, das Reward-Modell, das Referenzmodell, die KL-Einschränkung, die Sampling-Strategie, die Lernrate, die Batch-Größen und andere Hyperparameter. Die traditionelle RLHF-Pipeline ist komplexer als überwachtes Lernen, da sie das Training mehrerer Sprachmodelle, das Sampling aus der Policy während des Trainings und erhebliche Rechenkosten umfassen kann.

Für Unternehmens-Teams kann diese Komplexität erheblich sein, da sich die Alignment-Arbeit in einen breiteren Modell-Lebenszyklus einfügen muss. Präferenzdaten erfordern Governance. Trainingsjobs müssen reproduzierbar sein. Modellversionen benötigen Lineage. Die Evaluierung muss zeigen, ob das ausgerichtete Modell die Verhaltensweisen, die für den Workload wichtig sind, tatsächlich verbessert hat.

Direct Preference Optimization

Direct Preference Optimization (DPO) ist eine der nützlichsten Alternativen zu RLHF. Anstatt ein separates Reward-Modell zu trainieren und dann Reinforcement Learning durchzuführen, optimiert DPO das Sprachmodell direkt mithilfe von Präferenzpaaren. DPO bietet eine Möglichkeit, dasselbe eingeschränkte Reward-Ziel durch einen einfacheren Trainingsprozess im Klassifizierungsstil zu optimieren, ohne explizite Reward-Modellierung oder RL.

Genau diese Einfachheit macht den Reiz aus. DPO kann die betriebliche Komplexität von RLHF reduzieren, indem das separate Reward-Modell und die PPO-Trainingsschleife entfallen, was die Präferenz-Anpassung stabiler und einfacher zu implementieren machen kann. Es beseitigt nicht den Bedarf an starken Präferenzdaten, ändert aber die Art und Weise, wie diese Daten verwendet werden.

Constitutional AI und RLAIF

Constitutional AI (CAI) und Reinforcement Learning from AI Feedback (RLAIF) befassen sich mit einem anderen Skalierungsproblem: Menschliches Feedback ist teuer, insbesondere wenn das Modell anhand vieler schädlicher, mehrdeutiger oder Edge-Case-Prompts evaluiert werden muss. Constitutional AI wurde von Anthropic entwickelt. Es verwendet eine Reihe von schriftlichen Prinzipien, um die Selbstkritik und Überarbeitung der KI zu steuern, wodurch die Abhängigkeit von menschlichen Labels für schädliche Ausgaben verringert wird.

RLAIF erweitert dieselbe Idee, indem LLM-Judges verwendet werden, um anstelle von oder zusammen mit menschlichen Annotator:innen Feedback zu geben. Dies kann die Labeling-Kosten senken und die Skalierung erhöhen, wirft aber auch ein zentrales Alignment-Problem auf: Wenn KI-generiertes Feedback menschliche Präferenzdaten ersetzt, müssen Teams verstehen, wessen Werte, Richtlinien und Fehlermodi verstärkt werden.

Für Unternehmens-Teams sind RLHF und DPO nicht nur Methoden zum Modelltraining. Sie stellen auch eine Herausforderung für das Datenmanagement dar. Präferenzpaare, Entscheidungen von Annotator:innen, Prompt-Versionen, Ausgaben von Reward-Modellen, Trainingsläufe und ausgerichtete Modellversionen werden allesamt zu Artefakten, die kontrolliert, nachverfolgt und überprüft werden müssen.

Snowflake ML bietet Funktionen, die End-to-End-ML-Workflows mit kontrollierten Daten unterstützen, einschließlich Datenvorbereitung, Modelltraining, Experimenten, Pipelines, Bereitstellung und Monitoring. Dies ist für RLHF und DPO wertvoll, da die Präferenzdaten selbst sensibel oder reguliert sein können. Annotator-Rankings können Prompts, generierte Antworten, Notizen von Prüfer:innen, Richtlinienentscheidungen und Beispiele für unerwünschtes Modellverhalten umfassen. Die Verwaltung dieser Daten in Snowflake kann Teams dabei helfen, dieselben Governance-Muster anzuwenden, die sie für andere Unternehmensdaten-Assets verwenden, einschließlich Zugriffskontrollen, Auditierbarkeit und Lineage.

Snowflakes Container Runtime für ML kann benutzerdefinierte ML-Workloads unterstützen, einschließlich Modelltraining, Hyperparameter-Anpassung, Batch-Inferenz und Fine-Tuning, unter Verwendung von CPU- oder GPU-Rechenressourcen-Pools. Für RLHF- oder DPO-Workflows kann diese Umgebung benutzerdefinierten Trainingscode und Open Source-ML-Frameworks unterstützen, während der Trainingsprozess nah an den kontrollierten Daten bleibt.

Die Snowflake Model Registry kann Teams dann dabei helfen, die Modell-Artefakte zu verwalten, die RLHF und DPO erzeugen. Ein vollständiger Alignment-Workflow kann das ursprüngliche Basismodell, das Modell mit überwachter Feinanpassung, ein oder mehrere Reward-Modelle, DPO-angepasste Varianten und finale Policy-Modelle umfassen, die für die Bereitstellung ausgewählt wurden. Die Model Registry von Snowflake wurde entwickelt, um Modelle und Metadaten sicher zu verwalten.

Lineage ist in diesem Zusammenhang besonders wichtig. Snowflake ML Lineage kann Beziehungen zwischen Quelltabellen, Feature-Views, Datasets, registrierten Modellen und bereitgestellten Modelldiensten nachverfolgen und Teams dabei helfen, Fragen zu beantworten, wie z. B. woher die Trainingsdaten stammen und welche Dienste ein Modell verwenden. Diese Art von Transparenz kann Teams dabei helfen, ein ausgerichtetes Modell wieder mit den Präferenzdaten, dem Reward-Modell und dem Trainingslauf zu verknüpfen, die sein Verhalten geprägt haben.

RLHF hat die Entwicklung der generativen KI verändert, weil es Modellentwickler:innen eine Möglichkeit bot, für Präferenzen zu trainieren, die schwer als Regeln zu kodieren sind. Es trug dazu bei, Sprachmodelle von Systemen, die fließenden Text generieren konnten, zu Systemen weiterzuentwickeln, die Anweisungen befolgen, hilfreicher antworten und menschliche Erwartungen an das Konversationsverhalten besser widerspiegeln.

Aber RLHF zeigt auch, warum Alignment kein einzelner Trainingsschritt ist. Ein Präferenz-Label spiegelt ein Urteil wider, und ein Reward-Modell nähert sich diesem Urteil an. Ein Policy-Optimization-Durchlauf drängt das Modell in Richtung dieser Annäherung. Jede Ebene kann das Modell verbessern, aber jede Ebene erzeugt auch Nachweise, die kontrolliert werden müssen: wer die Daten gekennzeichnet hat, welche Kriterien verwendet wurden, welche Modellversion trainiert wurde, wie sich das Reward-Modell verhalten hat und ob sich die endgültige Policy bei der Evaluierung tatsächlich verbessert hat.

Für Unternehmen ist das ausgerichtete Modell nur ein Ergebnis der RLHF-Pipeline. Das andere Ergebnis ist eine Aufzeichnung darüber, wie menschliche Präferenzen zum Modellverhalten wurden – und ob das Unternehmen diesen Pfad überprüfen, reproduzieren und verwalten kann, wenn das Modell in die Produktion übergeht.