RLHF — 知星図

概要

RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックによる強化学習）は、LLM の応答を「人間が望ましいと感じる方向」へ調整するための学習手法です。大量のテキストで事前学習しただけのモデルは「次の単語を予測する」ことしかできず、質問に質問で返したり、有害な内容を平気で出力したりします。そこに人間の評価を報酬として組み込み、「役に立ち、正直で、無害な」応答を選ぶよう振る舞いを矯正するのが RLHF です。

ChatGPT が登場したとき、多くの人が驚いたのは知識量よりも「指示に素直に従い、対話として自然に応答する」振る舞いでした。あの振る舞いを生み出した中核技術が RLHF です。通常の機械学習が正解データとの誤差を最小化するのに対し、RLHF は「正解を定義できないが、比べれば良し悪しは分かる」という性質の目標を扱います。モデルの能力（何を知っているか）と振る舞い（それをどう出すか）を分離して調整するこの発想は、以降の LLM 開発における「アラインメント（人間の意図との整合）」という分野の出発点になりました。

なぜ生まれたか

事前学習だけを終えた言語モデルは、インターネット上のテキストの続きを確率的に予測する装置にすぎません。「東京の観光地を教えて」と入力すると、観光地を答える代わりに「大阪の観光地を教えて」と類似の質問文を並べ始めることすらあります。訓練データに含まれる偏見や有害表現もそのまま再現しますし、もっともらしい嘘（ハルシネーション）を自信満々に語ります。「言語の統計的パターンは知っているが、人間が何を求めているかは知らない」状態です。

問題は、「望ましい応答」を損失関数として数式で定義できないことでした。丁寧さ、有用さ、無害さといった性質は、正解データを列挙し切れるものではありません。そこで OpenAI が2022年の InstructGPT 論文で示し、ChatGPT で広く知られるようになったのが、「人間に応答の良し悪しを比較してもらい、その好みを模倣する報酬モデルを作り、それを最適化目標として強化学習する」という間接的なアプローチです。定義できない目的関数を、人間の判断から学習で獲得する — これが RLHF の核心的なアイデアです。

詳細

3段階のパイプライン

RLHF は事前学習済みモデルを出発点として、大きく3つの段階を経ます。

RLHFの3段パイプライン — 事前学習済みモデルを人間の好みに沿って段階的に調整する

第1段階は教師ありファインチューニング（SFT: Supervised Fine-Tuning）です。人間が書いた「指示と模範解答」のペア（数千〜数万件）でモデルを追加学習し、「質問には答える」「指示には従う」という対話の基本形を教え込みます。この時点でモデルはだいぶ「アシスタントらしく」なりますが、人間が模範解答を書ける量には限りがあり、応答の質の細かな良し悪しまでは伝えられません。

第2段階が報酬モデル（Reward Model）の学習です。SFT 済みモデルに同じプロンプトへの応答を複数生成させ、人間の評価者が「どちらが良いか」を順位付けします。人間にとって、良い応答をゼロから書くのは大変でも、2つを比べてどちらが良いか選ぶのは簡単です。この比較データを使って、「応答にスコアを付ける」別のニューラルネットワークを訓練します。これで人間の好みが、任意の応答を自動採点できる関数として近似されたことになります。

第3段階が強化学習です。SFT 済みモデルにプロンプトへの応答を生成させ、報酬モデルのスコアを報酬として、スコアが高くなる方向へモデルを更新します。アルゴリズムには PPO（Proximal Policy Optimization）が使われるのが典型です。このとき重要なのが、元のモデルから離れすぎないよう制約（KL ペナルティ）をかけることです。制約なしに報酬だけを追うと、報酬モデルの穴を突いた無意味な文字列で高スコアを稼ぐ「報酬ハッキング」が起き、言語能力そのものが壊れてしまいます。

実務上の論点と限界

RLHF の品質は評価者の判断の質に強く依存します。評価者間で判断が割れる、評価者が「自信ありげで長い応答」を好んでしまいモデルが冗長・迎合的になる（sycophancy と呼ばれます）、といった問題が知られています。また、人間が正しさを判定しづらい高度な内容（専門的なコードや数学）では、「もっともらしいが誤っている応答」に高い報酬が付いてしまい、ハルシネーションをむしろ強化するリスクもあります。人間の代わりに、原則集（憲法）に基づく AI 自身の評価をフィードバックに使う Constitutional AI（RLAIF とも呼ばれます）は、この評価コストとスケーラビリティの問題への一つの回答です。

DPOなどの後続手法

3段パイプラインは強力ですが、報酬モデルと強化学習のループは実装が複雑で、学習も不安定になりがちです。2023年に提案された DPO（Direct Preference Optimization）は、報酬モデルを明示的に作らず、人間の比較データから直接モデルを最適化する手法で、数学的には RLHF と同等の目的を単純な教師あり学習に近い形で解きます。実装の簡単さから、オープンモデルのコミュニティを中心に広く使われるようになりました。ほかにも KTO や ORPO など派生手法が次々に登場しており、「人間の好みをどう効率よくモデルに注入するか」は現在も活発な研究領域です。プロンプトエンジニアリングが推論時にモデルの振る舞いを誘導する技術だとすれば、RLHF とその後続は学習時に振る舞いそのものを作り込む技術だと整理できます。