RLHF：人間のフィードバックを活用したAIモデルの動作の形成

言語モデルは、カスタマーサポートの返信、企業ポリシーの要約、SQLクエリの説明など、特定の種類の回答が通常どのように構造化されているかを把握していても、出力を有用なものにするために必要な判断力を欠いている場合があります。この判断の欠如は、ビジネスに深刻な結果をもたらします。マーケティングコピーの作成、契約書の要約、アナリストの支援、従業員の質問への回答を行うモデルは、トーン、正確性、安全性、ポリシーの境界が出力の信頼性に影響する状況で運用されています。

人間のフィードバックによる強化学習（RLHF）は、この判断力の欠如に対処するための最も重要な手法の一つとなっています。RLHFは、次のトークンの予測や教師ありの例のみに依存するのではなく、選好シグナルを導入します。具体的には、人間がモデルの出力を比較し、その比較によって報酬モデルをトレーニングし、人間の選好を学習したそのモデルに従ってより高いスコアを獲得する応答を生成するように言語モデルを最適化します。

RLHFは、ガバナンス、評価、監視の代わりにはなりませんが、無害性、関連性、意図に従う能力など、静的なルールセットとして表現することが困難な品質についてトレーニングする方法をモデル開発者に提供します。

RLHFは、言語モデルを人間の選好に合わせて調整するための手法です。一般的なワークフローでは、チームは事前学習済みのベースモデルから開始し、望ましい動作の例を使用してファインチューニングを行い、人間の比較データで報酬モデルをトレーニングしてから、報酬モデルのスコアを最大化する出力を生成するように言語モデルを最適化します。

RLHFは、望ましい動作の例をモデルに示す教師ありファインチューニングを拡張したものです。RLHFは選好シグナルを追加することで、技術的に複数の出力が可能である場合に、人間がどの応答をより優れていると見なすかをモデルが学習できるように支援します。たとえば、2つの回答がどちらも福利厚生規程に関する質問に対応しているとします。一方の回答は、適切な規程の適用範囲を提示し、法的な誇大表現を避け、従業員に対象資格の確認先を案内できているのに対し、もう一方の回答ではそのような対応がなされていない場合があります。こうした選好は、単なる事実情報の内容ではなく、有用な回答とはどうあるべきかについての判断を反映しています。

OpenAIによる2022年のInstructGPTの研究は、現代の言語モデルにおけるRLHFの標準的な基準点となっています。研究者たちは、人間のフィードバックを使用したファインチューニングにより、不正確、有害、または役に立たない出力を減らすなど、モデルをユーザーの意図に合わせて調整できることを示しました。

言語モデルにおけるRLHFは、標準的な強化学習とは重要な点で異なります。ゲームやシミュレーションでは、多くの場合、環境から直接的な報酬が与えられます。たとえば、エージェントが勝つ、負ける、目標に到達する、ポイントを獲得するといったことです。一方、言語モデルにおけるRLHFでは、環境は人間の判断です。報酬は根拠に基づくスコアではなく、比較データからトレーニングされた人間の選好を学習した近似値となります。

RLHFは強力ですが、不完全でもあります。報酬モデルは、人間が何を求めているかを絶対的な意味で理解しているわけではありません。報酬モデルは受け取った選好データからパターンを学習することしかできないため、そのデータの品質、多様性、一貫性が、最終的なモデルが学習する動作を決定づけます。

RLHFパイプラインは通常、教師ありファインチューニング、報酬モデルトレーニング、強化学習ポリシー最適化という、3つのステージで構成されます。各ステージで異なる種類のシグナルが追加されることで、モデルは一般的な言語能力を持つ状態から、人間の意図をより適切に反映した動作を実現するように進化します。

ステージ 1：教師ありファインチューニング

パイプラインは通常、事前学習済みのベースモデルから始まります。このベースモデルは、大規模なトレーニングコーパスから幅広い言語パターンを学習していますが、特定のコンテキストで指示に従うアシスタントとしてどのように振る舞うべきかを学習しているとは限りません。

教師ありファインチューニング（SFT）では、モデルにデモデータを提供します。これはプロンプトと、人間が記述した高品質な応答のペアです。これらの例を通じて、モデルは望ましい動作の基本形を学習します。このステージでは初期の指示追従モデルが作成されますが、選好の問題はまだ解決されていません。デモは優れた出力がどのようなものかを示しますが、複数の許容可能な回答がある場合に、どれがより役立つか、より安全か、ユーザーの意図により適合しているかを選択する方法をモデルに直接教えるわけではありません。

ステージ 2：報酬モデルトレーニング

第2のステージでは、比較データを導入します。人間のアノテーターが同じプロンプトに対する複数のモデル出力を確認し、最良から最悪までランク付けするか、ペアの中から好ましい回答を選択します。これらのランキングは報酬モデルのトレーニングデータとなり、報酬モデルは人間がどの出力を好むかを予測することを学習します。

これは、RLHFにおける極めて重要なステップです。このパイプラインでは、人間に対してあらゆる理想的な回答の作成を求めるのではなく、候補となる回答の中から選好を提示してもらいます。これにより、より直接的な回答、不確実性をうまく処理する回答、回避しすぎる回答、裏付けのない主張を含む回答、期待されるトーンにマッチする回答など、ニュアンスに富んだ判断に基づいてモデルをトレーニングすることが可能になります。

報酬モデルとは通常、プロンプトと応答を入力として受け取り、スコアを返すように変更された言語モデルを指します。このスコアは、次のトレーニングステージで人間の選好を表す代用として機能します。

ステージ 3：RLポリシー最適化

第3のステージでは、SFTモデルが最適化対象のポリシーとなります。このモデルが応答を生成した後、報酬モデルがその応答をスコアリングします。そして、近位ポリシー最適化（PPO）などのRLアルゴリズムが、より高い報酬スコアを受け取る出力を生成するように言語モデルを更新します。

このステージでは、慎重に制約を設けないと、システムが不安定になる可能性があります。モデルが報酬モデルに対して過度に積極的な最適化を行うと、実際には有用性が向上していないにもかかわらず、高スコアを獲得できる出力を発見してしまう可能性があります。これが報酬ハッキングです。モデルは根本的な動作を改善する代わりに、報酬モデルの弱点を悪用します。

このリスクを軽減するために、RLHFパイプラインには多くの場合、Kullback-Leibler（KL）発散ペナルティが含まれています。これは、最適化されたモデルが教師ありファインチューニングされたモデルから逸脱するのを防ぎます。現実的には、KLペナルティは報酬を求めてモデルを変更しすぎないようにすることで、SFTで学習した言語品質と指示に従う動作を維持します。

また、多くのRLHFシステムは反復的に実行されます。新しいモデル出力が新たな失敗パターンを明らかにすると、人間のレビュー担当者によって追加の選好データが生成され、報酬モデルが更新され、ポリシーが再び最適化されます。このパイプラインは、1回限りのトレーニングレシピというより、動作を形成するためのフィードバックループに近いものです。

RLHFは、人間の選好に沿ってモデルを学習させる実用的な手法を開発者に提供したことで、大きな影響力を持つようになりました。しかし、この手法は運用面やガバナンス面で独自の課題をもたらします。シグナルの品質は比較データの品質に依存し、報酬モデルは人々が実際に望む動作から逸脱する可能性があり、強化学習（RL）最適化を確実に実行するのは困難な場合があります。

選好データの品質

選好データは一見シンプルにみえますが、チームが誰の選好を採用し、どのような基準を適用するかを定義しようとすると難解になります。ある回答がより有用か、より慎重か、あるいは特定のコンテキストにおいてより適切かについては、アノテーター間で評価が分かれることがあります。文化的な前提条件も、ラベルに影響を与える可能性があります。これは特に、プロンプトにトーン、安全性、医療的助言、財務上の意思決定、その他の重要なトピックが含まれる場合に顕著です。

エンタープライズAIシステムでは、さらに別の考慮事項が生じます。社内の人事サポート、規制対象業界のワークフロー、顧客向けサービスに使用されるモデルでは、一般的なアノテーターだけでなく、そのドメインを理解している人々からの選好データが必要になる場合があります。各分野の専門家は、広範なラベリングを行う従業員と比較して規模を広げることが困難であるため、コストと調整の要件が厳しくなります。

報酬モデルの限界

報酬モデルは学習済みの近似であり、絶対的な基準ではありません。最適化されたポリシーが、トレーニング中に報酬モデルが参照した例とは異なる出力を生成するようになると、その信頼性は低下する可能性があります。この分布のシフトは、報酬モデルが自身のトレーニングシグナルが弱い領域で応答をスコアリングするよう求められる可能性があることを意味します。

報酬ハッキングもまた、もう一つの限界です。報酬モデルが過大評価するパターンをモデルが学習した場合、スコア上は好ましく見えても、実際にはユーザーにとってより良いとは言えない応答を生成する可能性があります。たとえば、自信ありげに聞こえる説明を追加したり、過度に曖昧な表現を使ったり、以前アノテーターが報酬を与えた表面的なパターンに従ったりすることを学習する場合があります。

トレーニングの不安定さ

RLのステップも、チューニングが難しくなる場合があります。PPOベースのRLHFパイプラインには、ポリシーモデル、報酬モデル、リファレンスモデル、KL制約、サンプリング戦略、学習率、バッチサイズ、その他のハイパーパラメータなど、多様な変動要素が含まれます。従来のRLHFパイプラインは、複数の言語モデルのトレーニング、トレーニング中のポリシーからのサンプリング、多大な計算コストの発生を伴う可能性があるため、教師あり学習よりも複雑です。

エンタープライズチームは、より広範なモデルライフサイクルに調整作業を組み込まなければならないため、この複雑さはチームにとって大きな課題となります。選好データにはガバナンスが、トレーニングジョブには再現性が、モデルのバージョンにはリネージが必要です。評価では、調整されたモデルがワークロードにとって重要な動作について実際に改善したかどうかを示す必要があります。

直接選好最適化

Direct preference optimization（DPO：直接選好最適化）は、RLHFに代わる最も有用な選択肢の一つです。DPOは、個別の報酬モデルをトレーニングしてから強化学習を実行するのではなく、選好ペアを使用して言語モデルを直接最適化します。DPOは、明示的な報酬モデリングやRLを行わずに、よりシンプルな分類スタイルのトレーニングプロセスを通じて、同じ制約付き報酬目標を最適化する方法を提供します。

DPOの魅力は、そのシンプルさにあります。DPOは、独立した報酬モデルとPPOトレーニングループを排除することでRLHFの運用上の複雑さを軽減し、選好チューニングをより安定的かつ簡単に実装できるようにします。強力な選好データが必要であることに変わりはありませんが、そのデータの使用方法が変わります。

Constitutional AIとRLAIF

Constitutional AI（CAI）とAIフィードバックからの強化学習（RLAIF）は、別のスケーリングの問題に対処します。これは特に、有害なプロンプトや曖昧なプロンプト、エッジケースのプロンプトにわたってモデルを評価する必要がある場合、人間のフィードバックにはコストがかかるという問題です。Constitutional AIはAnthropicによって開発されました。一連の文書化された原則を使用してAIの自己批判と改訂をガイドし、有害な出力に対する人間のラベルへの依存を軽減します。

RLAIFは、人間のアノテーターの代わりに、あるいは人間のアノテーターと並行して、LLMの審査員を使用してフィードバックを提供することで、同じアイデアを拡張しています。これにより、ラベル付けのコストが低減し、スケーリングも可能になりますが、中核的な整合の問題も生じます。AIが生成したフィードバックが人間による選好データに取って代わる場合、誰の価値観、ポリシー、不具合モードが強化されているのかをチームが把握している必要があります。

エンタープライズチームにとって、RLHFとDPOは単なるモデルトレーニングの手法ではありません。データ管理の懸念を生み出すものです。選好ペア、アノテーターの決定、プロンプトのバージョン、報酬モデルの出力、トレーニングの実行、調整されたモデルのバージョンはすべて、ガバナンス、追跡、レビューが必要なアーティファクトになります。

Snowflake MLは、データ準備、モデルトレーニング、実験、パイプライン、展開、監視など、ガバナンスの効いたデータ上でエンドツーエンドのMLワークフローをサポートする機能を提供します。これは、RLHFとDPOにとって非常に価値があるものです。なぜなら、選好データ自体が機密情報や規制対象情報である可能性があるからです。注釈者のランク付けには、プロンプト、生成された応答、レビュー担当者のメモ、ポリシー決定、望ましくないモデル動作の例などが含まれます。こうしたデータをSnowflakeで管理することで、アクセス制御、監査可能性、リネージなど、他のエンタープライズデータアセットに適用しているものと同じガバナンスパターンを適用できるようになります。

SnowflakeのML用コンテナランタイムは、CPUまたはGPUのコンピュートプールを使用して、モデルトレーニング、ハイパーパラメータチューニング、バッチ推論、ファインチューニングなどのカスタムMLワークロードをサポートできます。RLHFやDPOのワークフローにおいて、この環境はトレーニングプロセスをガバナンスの効いたデータの近くに維持しながら、カスタムのトレーニングコードやオープンソースのMLフレームワークをサポートできます。

さらにその後、Snowflakeモデルレジストリを使用することで、チームはRLHFやDPOが生成したモデルアーティファクトを管理できるようになります。調整ワークフローには、オリジナルのベースモデル、教師ありファインチューニングモデル、1つ以上の報酬モデル、DPOでチューニングされたバリアント、展開用に選択された最終的なポリシーモデルが含まれます。Snowflakeモデルレジストリは、モデルとメタデータをセキュアに管理できるように設計されています。

このコンテキストにおいて、リネージは特に重要です。Snowflake MLリネージは、ソーステーブル、特徴量ビュー、データセット、登録済みモデル、展開されたモデルサービス間の関係をトレースし、チームに対してトレーニングデータの出所やモデルを使用しているサービスといった疑問への回答を提供できます。このような可視性は、調整されたモデルをその動作を形成した選好データ、報酬モデル、トレーニング実行へと遡って結びつける際に役立ちます。

RLHFは、ルールとしてエンコードすることが難しい選好についてもトレーニングできる手段をモデル開発者に提供したことで、生成AIの方向性を変えました。RLHFにより、言語モデルは単に流暢なテキストを生成するシステムから、指示に従い、より役立つ応答を提供し、対話における人間の期待をより適切に反映するシステムへと進化しました。

しかし、RLHFは、調整が単一のトレーニングステップではない理由も示しています。選好ラベルは判断を反映し、報酬モデルはその判断を近似します。ポリシー最適化を実行することで、モデルはその近似へと近づけられます。各レイヤーはモデルを改善できますが、同時にガバナンスの対象となる証拠も生成します。具体的には、誰がデータをラベル付けしたか、どのような基準を使用したか、どのモデルバージョンがトレーニングされたか、報酬モデルがどのように動作したか、最終的なポリシーが評価において実際に改善されたかなどです。

企業において、調整されたモデルはRLHFパイプラインの出力のひとつに過ぎません。もう一つの出力として、人間の選好がどのようにしてモデルの動作へと変化したのか、そしてモデルが本番環境に移行する際に組織がその経路の検証、再現、ガバナンスが可能かどうかを示す記録が存在します。