Constitutional AI：源自 AI 反饋的無害性

論文解讀

問題與動機

標準的人類反饋增強式學習（RLHF）在對齊語言助理時面臨數個瓶頸：

• 高度依賴人工有害標籤：收集數萬筆針對有害內容的人類偏好比較成本高昂，且會使人工標註者接觸到有毒內容。
• 迴避性與實用性之間的衝突：透過 RLHF 訓練的模型通常學會用樣板式的拒絕回覆（如*「我無法回答這個問題」*）來應對敏感提示，犧牲了實用性與透明度。
• 不透明性：數千個私有偏好標籤使確切的對齊目標變得隱晦，難以審查或稽核。

Constitutional AI（CAI）旨在藉由將人工有害標註替換為明確的自然語言原則（即憲法，constitution），訓練 AI 進行自我批判、修訂並產生自身的偏好反饋，從而擴展監督規模。

核心概念

• 原則憲法（A Constitution of Principles）：行為完全由一組小型的自然語言規則（約 16 條原則）引導，而非人工有害標籤。
• 兩階段流程：監督式學習（SL）階段利用自我批判與修訂將模型輸出拉回同分佈，隨後由 AI 反饋增強式學習（RLAIF）階段在經模型評估的比對資料上訓練偏好模型。
• 積極互動勝於消極迴避：引導助理在面對有害請求時說明反對理由，而非採取一刀切的直接拒絕。
• 思維鏈（CoT）監督：在評估過程中運用逐步推理，大幅提升模型識別危害及評估選擇題偏好的能力。

方法

1. 監督式學習階段（Critique $\to$ Revision $\to$ SL-CAI）

1. 使用紅隊提示（red-teaming prompt）$x$ 從實用的 RLHF 模型中採樣初始輸出。
2. 提示模型根據隨機採樣的憲法原則批判自己的回覆： $$\text{Critique}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{CritiqueRequest})$$
3. 提示模型修訂回覆以符合該批判： $$y_{\text{revised}}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{Critique},\text{RevisionRequest})$$
4. 迭代重複批判與修訂（通常最多修訂 4 次）。
5. 將修訂後的回覆與實用性展示資料配對（182,831 筆紅隊提示、135,296 筆實用性提示），在批次大小 1024 下對預訓練 LM 進行 1 個 epoch 的微調。

2. 增強式學習階段（RLAIF）

1. 使用 SL-CAI 模型針對提示採樣回覆對 $(y_A,y_B)$。
2. 將對話、回覆對及採樣出的原則以選擇題格式呈現給反饋模型（可選用思維鏈提示）。
3. 根據反饋模型的補全 logits 計算正規化目標機率： $$P(A)=\frac{e^{z_A}}{e^{z_A}+e^{z_B}}$$ 使用思維鏈時，目標機率會被截斷（clamped）在 $[0.40,0.60]$ 區間內，以避免過度自信。
4. 使用混合資料訓練偏好模型（PM）：135,296 筆人工標註的實用性比對資料，以及 182,831 筆 AI 生成的無害性比對資料。
5. 透過 RL 以該偏好模型作為獎勵優化 SL-CAI 策略。

結果

• 柏拉圖改善（Pareto Improvements）：群眾外包人員評估（基於 10,274 筆實用性與 8,135 筆無害性比較）顯示，與使用人工無害標籤訓練的模型相比，52B RL-CAI 模型在相同實用性下取得了更優越的無害性 Elo 分數。
• 降低迴避性：當群眾外包人員被明確指示偏好深思熟慮的解釋而非迴避性拒絕時，RL-CAI 模型的表現持續優於標準 HH RLHF 模型。
• AI 反饋的擴展性：具備思維鏈推理的較大模型（52B）在 HHH 評估基準上接近了人工偏好訓練模型的準確度（在二元選擇有害性識別上準確率遠高於 80–90%）。
• 批判 vs. 直接修訂：在較小模型中，批判顯著提升了無害性分數；而在 52B 模型上，其表現略勝或等同於直接修訂。

限制與開放研究問題

• 依賴人工實用性標籤：實驗僅在無害性上消除了人工反饋標籤；實用性資料仍然依賴人工比較標籤。
• 古德哈特定律與過度優化（Goodharting and Over-Optimization）：長期的 RL 訓練有時會產生說教式或公式化的語言（例如反覆說明*「你是被認同、被重視且被關懷的」*）。
• CoT 目標的校準：因為思維鏈推理會導致模型強烈偏向某個選項，因此需要採用機率截斷作為啟發式手段，以保持偏好模型的穩定性。
• 軍民兩用（Dual-Use）隱憂：降低引導語言模型的標註門檻，也使缺乏人工監督下朝有害目標訓練模型變得更容易。