Training language models to follow instructions with human feedback

Long Ouyang; Jeff Wu; Xu Jiang; Diogo Almeida; Carroll L. Wainwright; Pamela Mishkin; Chong Zhang; Sandhini Agarwal; Katarina Slama; Alex Ray; John Schulman; Jacob Hilton; Fraser Kelton; Luke Miller; Maddie Simens; Amanda Askell; Peter Welinder; Paul Christiano; Jan Leike; Ryan Lowe

論文 · arXiv 2203.02155

利用人類回饋訓練語言模型以遵循指令

Training language models to follow instructions with human feedback

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton et al.

發表於 2022-03-04cs.CLcs.AIcs.LG arXiv PDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

純粹基於下一個 Token 預測訓練的大型語言模型往往無法遵循使用者意圖，進而產生具毒性、不真實或無幫助的回答。
使用人類監督示範資料微調 GPT-3，在排序輸出上訓練 6B 獎勵模型，並透過結合預訓練混合資料的 PPO 來最佳化策略。
1.3B InstructGPT 的輸出比 175B GPT-3 更受青睞，而 175B InstructGPT 對比 175B GPT-3 勝率達 85%，並將幻覺率從 41% 降低至 21%。

摘要

單純擴大語言模型規模並不能本質上提升其遵循使用者意圖的能力。例如，大型語言模型可能會產生不真實、具毒性或單純對使用者毫無幫助的輸出。換句話說，這些模型並未與其使用者對齊。在本文中，我們展示了一種透過人類回饋進行微調，使語言模型在廣泛任務上與使用者意圖對齊的途徑。首先從標註員編寫的提示詞以及透過 OpenAI API 提交的提示詞出發，我們收集了一個標註員示範理想模型行為的資料集，並以此使用監督式學習對 GPT-3 進行微調。接著我們收集了模型輸出排序的資料集，進一步使用來自人類回饋的增強學習（RLHF）對該監督模型進行微調。我們將產生的模型稱為 InstructGPT。在針對我們提示詞分佈的人類評估中，儘管參數量少了 100 倍，1.3B 參數量的 InstructGPT 模型輸出仍比 175B 的 GPT-3 輸出更受青睞。此外，InstructGPT 模型在真實性方面有所提升，並減少了毒性輸出的生成，同時在公開 NLP 資料集上的效能衰退極小。儘管 InstructGPT 仍會犯簡單的錯誤，我們的結果表明，利用人類回饋進行微調是將語言模型與人類意圖對齊的一個極具前景的方向。

英文原文摘要

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

論文解讀

問題與動機

標準的大型語言模型（LLM）最佳化的是網路語料庫上的下一個 Token 預測。這個預訓練目標與使用者希望助手能夠有用、真實且無害地遵循指令的目標並不一致。因此，像 GPT-3 這樣的基準模型經常會產生事實幻覺、捏造虛假脈絡、反映具毒性的文字，或忽略明確的使用者限制。單純擴大模型參數並不能消除這些問題。

核心概念

透過人類回饋強化學習（RLHF）進行對齊： 利用人類評分引導模型輸出符合使用者意圖，而非僅追求原始的接續生成機率。
三階段訓練流程： (1) 在提示詞-示範資料對上進行監督式微調（SFT），(2) 根據已排序生成結果的成對比較訓練獎勵模型（RM），以及 (3) 使用近端策略最佳化（PPO）進行策略最佳化。
緩解對齊稅（Alignment Tax）： 標準 PPO 微調會導致在標準 NLP 基準測試（例如 SQuADv2、DROP）上的效能衰退。在 PPO 更新中混入預訓練分佈的梯度（PPO-ptx），可在不犧牲人類偏好增益的情況下減輕這些能力損失。

方法（包含核心公式）

監督式微調（SFT）： 在由標註員編寫及透過 OpenAI API Playground 提交的大約 13k 條提示詞示範資料上，微調基準 GPT-3 模型。
獎勵模型訓練： 對於每個提示詞 $x$ ，標註員對 $K$ 個生成結果進行排序（ $K \in [4, 9]$ ），產生 $(2 K)$ 個比較對。6B 的獎勵模型 $r_{θ} (x, y)$ 在批次元素內的所有比較對上使用成對交叉熵損失進行訓練： $loss (θ) = - \frac{1}{( 2 K )} E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$ 其中 $y_{w}$ 是相較於 $y_{l}$ 更受偏好的生成結果。
強化學習策略最佳化（PPO-ptx）： 針對純量獎勵最佳化策略 $π_{ϕ}^{RL}$ ，同時透過 Token 等級的 KL 散度懲罰偏離 SFT 模型的行為，並可選擇性保留預訓練對數概似度： $objective (ϕ) = E_{(x, y) \sim D_{π_{ϕ}^{RL}}} [r_{θ} (x, y) - β lo g (\frac{π _{ϕ}^{RL} ( y ∣ x )}{π ^{SFT} ( y ∣ x )})] + γ E_{x \sim D_{pretrain}} [lo g π_{ϕ}^{RL} (x)]$ 在此 $β$ 為 KL 懲罰係數，而 $γ$ 控制預訓練梯度的混合程度。

結果（包含最重要的數據）

人類偏好： 標註員對 1.3B InstructGPT 模型輸出的偏好程度超過了 175B 的基準 GPT-3（參數差距達 100 倍）。175B InstructGPT 的輸出在 $85 \pm 3%$ 的情況下優於 175B GPT-3，且在 $71 \pm 4%$ 的情況下優於採用少樣本提示（few-shot prompted）的 175B GPT-3。
真實性與幻覺： 在 TruthfulQA 上，InstructGPT 產生真實且具資訊量輸出的頻率大約是 GPT-3 的兩倍。在閉門領域 API 任務中，幻覺率從 41%（GPT-3）降至 21%（InstructGPT）。
毒性： 在 RealToxicityPrompts 上，當被提示要求保持尊重時，InstructGPT 產生的具毒性輸出比 GPT-3 減少約 25%。
泛化能力： InstructGPT 能可靠地泛化至未參與訓練的留出標註員（一致性達 $77.3%$ ），以及分佈外指令（如程式碼問答／摘要和非英語指令，儘管訓練資料中英語佔比超過 96%）。

限制與開放性問題

安全性與對齊的權衡： InstructGPT 在訓練期間主要優先考量遵循使用者指令；如果被要求執行惡意或具偏見的提示，它也會有效地遵循該指令。
簡單錯誤： 該模型仍然會產生幻覺，可能因認識謙遜（epistemic humility）條件調整而過度保留語氣（hedging），且在面對錯誤前提或複雜的多重限制時仍感吃力。
代表性： 微調高度依賴約聘標註員的回饋（約 40 名聘用標註員）以及 API Playground 客戶的查詢，這些並不能完全代表廣泛的終端使用者群體。

關鍵術語

RLHF: 來自人類回饋的強化學習（Reinforcement Learning from Human Feedback）；一種利用人類偏好訓練獎勵模型，並透過強化學習微調策略的方法。
InstructGPT: 使用監督示範資料與 RLHF 進行微調以遵循自然語言指令的 GPT-3 模型家族。
Alignment tax: 對齊稅；指在將語言模型與人類偏好對齊時，在標準 NLP 基準測試（如 DROP 或 SQuAD）上觀察到的效能下降現象。
PPO-ptx: 一種 PPO 變體，將預訓練資料的梯度混入強化學習微調目標中，以保留模型在基準測試上的能力。
Reward Model (RM): 獎勵模型；訓練用來為提示詞-生成結果對賦予純量分數，以預測人類對不同生成選項偏好的模型。
Supervised fine-tuning (SFT): 監督式微調；對齊流程的第一步，使用人類撰寫的提示詞-示範資料對微調基準語言模型。
Hallucination: 幻覺；語言模型在摘要或問答等閉門領域任務中，捏造毫無根據或虛構資訊的現象。

常見問題

為什麼 1.3B 的 InstructGPT 在人類評分上能超越 175B 的 GPT-3？

基準 GPT-3 最佳化的是預測未過濾網路文字中的下一個 Token，經常會忽略指令或重複上下文。InstructGPT 則明確針對人類偏好訊號進行最佳化，以產生有用且直接的回答，消弭了純參數規模能力與任務意圖之間的落差。

論文如何解決對齊稅（alignment tax）的問題？

透過在 PPO 訓練目標中加入預訓練更新項（PPO-ptx），將預訓練梯度乘以係數 $γ = 27.8$ 。這樣可以避免在 SQuAD 和 DROP 等公開資料集上的效能退化，同時不損及在人類偏好上的勝率。

獎勵模型是如何在排序輸出上進行訓練的？

標註員針對每個提示詞將 $K$ 個生成結果（ $K$ 介於 4 到 9 之間）進行排序。6B 的獎勵模型在單一預測批次中同時對所有 $(2 K)$ 個成對組合進行訓練，從而減少前向傳播次數並防止過擬合。

InstructGPT 是否減少了人口統計學偏見？

沒有。在 Winogender 和 CrowS-Pairs 的評估中，InstructGPT 相較於基準 GPT-3 並未顯示出顯著的偏見減少，且要求保持尊重的提示詞偶爾會降低熵（進而增加了測得的偏見）。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）