人間のフィードバックを用いた指示追従言語モデルの訓練

論文解説

問題意識と動機

標準的な大規模言語モデル（LLM）は、Webコーパスにおける次トークン予測を最適化します。この事前学習の目的関数は、アシスタントが役立ち（Helpful）、真実性があり（Truthful）、無害（Harmless）に指示に従うことを求めるユーザーの目標とは乖離（ミスアライン）しています。その結果、GPT-3のようなベースラインモデルは頻繁に事実を捏造（ハルシネーション）し、架空の文脈を作り出し、有害なテキストを反映したり、明示的なユーザーの制約を無視したりします。モデルパラメータをスケールアップするだけでは、これらの問題は解消されません。

主要なアイデア

• 人間のフィードバックによる強化学習（RLHF）を通じたアライメント: 人間の評価を用いて、モデルの出力を単なる続きの尤度ではなく、ユーザーの意図に沿う方向へと誘導します。
• 3段階の訓練パイプライン: (1) プロンプトとデモンストレーションのペアによる教師ありファインチューニング（SFT）、(2) ランク付けされた出力に対するペアワイズ比較を用いた報酬モデル（RM）の訓練、(3) Proximal Policy Optimization (PPO) を用いたポリシー最適化。
• アライメント税（Alignment Tax）の緩和: 標準的なPPOファインチューニングは、標準的なNLPベンチマーク（例：SQuADv2, DROP）での性能低下を引き起こします。PPOの更新に事前学習分布の勾配を混合する（PPO-ptx）ことで、人間の選好における改善を損なうことなく、これらの能力低下を緩和します。

手法（主要な数式を含む）

1. 教師ありファインチューニング（SFT）: アノテーターが作成し、OpenAI API Playground経由で送信された約13k件のプロンプトデモンストレーションを用いて、ベースとなるGPT-3モデルをファインチューニングします。
2. 報酬モデルの訓練: 各プロンプト $x$ に対し、アノテーターは $K$ 個の出力（$K\in [4,9]$）をランク付けし、$\left(\genfrac{}{}{0ex}{}{K}{2}\right)$ 個の比較を生成します。6Bの報酬モデル $r_{\theta }(x,y)$ は、バッチ要素内のすべてのペアに対するペアワイズ交差エントロピー損失を用いて訓練されます： $$\mathrm{loss}(\theta )=-\frac{1}{\left(\genfrac{}{}{0ex}{}{K}{2}\right)}{\mathbb{E}}_{(x,y_w,y_l)\sim D}\left[\log \sigma \left(r_{\theta }(x,y_w)-r_{\theta }(x,y_l)\right)\right]$$ ここで $y_w$ は $y_l$ よりも好まれる出力を表します。
3. RLポリシー最適化（PPO-ptx）: スカラー報酬に対してポリシー ${\pi }_{\varphi }^{\mathrm{RL}}$ を最適化しつつ、トークンレベルのKLダイバージェンスによってSFTモデルからの乖離にペナルティを与え、オプションで事前学習の対数尤度を維持します： $$\mathrm{objective}(\varphi )={\mathbb{E}}_{(x,y)\sim D_{{\pi }_{\varphi }^{\mathrm{RL}}}}\left[r_{\theta }(x,y)-\beta \log \left(\frac{{\pi }_{\varphi }^{\mathrm{RL}}(y\mid x)}{{\pi }^{\mathrm{SFT}}(y\mid x)}\right)\right]+\gamma {\mathbb{E}}_{x\sim D_{\text{pretrain}}}\left[\log {\pi }_{\varphi }^{\mathrm{RL}}(x)\right]$$ ここで $\beta$ はKLペナルティ係数、$\gamma$ は事前学習勾配の混合比率を制御します。

実験結果（重要な数値）

• 人間の選好: アノテーターは、1.3BのInstructGPTモデルの出力を、175BのベースGPT-3の出力よりも好みました（100倍のパラメータ差）。175BのInstructGPTの出力は、175BのGPT-3に対して $85\pm 3\%$ の割合で好まれ、few-shotプロンプトを与えた175BのGPT-3に対しても $71\pm 4\%$ で好まれました。
• 真実性とハルシネーション: TruthfulQAにおいて、InstructGPTはGPT-3と比較して約2倍の頻度で真実かつ有益な出力を生成しました。クローズドドメインのAPIタスクでは、ハルシネーション率が41%（GPT-3）から21%（InstructGPT）に低下しました。
• 毒性（Toxicity）: 敬意を払うようプロンプトを与えた場合、RealToxicityPromptsにおいてInstructGPTはGPT-3よりも約25%少ない有害出力を示しました。
• 汎化能力: 訓練データの96%以上が英語で構成されていたにもかかわらず、InstructGPTはホールドアウトされたアノテーター（一致率 $77.3\%$）や、コードのQA/要約、英語以外の指示といった分布外の指示にも確実に汎化しました。

限界と未解決の課題

• 安全性とアライメントのトレードオフ: InstructGPTは訓練中、主にユーザーの指示に従うことを優先します。悪意のある指示や偏った指示が与えられた場合でも、その指示を効果的に実行してしまいます。
• 単純なエラー: モデルは依然としてハルシネーションを起こし、認識論的謙虚さの調整により過度に自己防衛的な回答（hedge）をすることがあり、偽の前提や複雑な複数の制約を課された場合に苦戦します。
• 代表性: ファインチューニングは契約者のフィードバック（雇用された約40名のアノテーター）とAPI Playgroundの顧客クエリに依存しており、エンドユーザーの幅広い層を完全には捉えられていません。