Constitutional AI: Harmlessness from AI Feedback

论文解读

问题与动机

标准基于人类反馈的强化学习（RLHF）在对齐语言助手时面临若干瓶颈：

• 严重依赖人类有害性标签：收集数以万计的人类对有害性的偏好对比数据不仅成本高昂，还会使标注人员暴露在有害内容中。
• 回避性以及与帮助性的冲突：通过 RLHF 训练的模型往往学会用死板的拒绝话术（如 “我无法回答这个问题”）来应对敏感提示词，从而牺牲了帮助性和透明度。
• 不透明性：数万条私有偏好标签使得确切的对齐目标变得隐晦，难以检查或审计。

Constitutional AI (CAI) 旨在通过用显式的自然语言原则（即宪法）取代人类有害性标注来扩展监督规模，训练 AI 进行自我批评、修改并生成自己的偏好反馈。

核心理念

• 原则宪法：行为完全由一小组自然语言规则（大约 16 条原则）引导，而非依赖人类有害性标签。
• 两阶段流程：首先通过监督学习（SL）阶段，利用自我批评和修改使模型输出符合目标分布；随后通过基于 AI 反馈的强化学习（RLAIF）阶段，在模型评估的对比数据上训练偏好模型。
• 理性探讨而非盲目回避：引导助手解释对有害请求的反对理由，而不是直接给出死板的一刀切式拒绝。
• 思维链（CoT）监督：在评估过程中利用逐步推理，可显著提升模型识别危害以及评估多项选择偏好的能力。

方法

1. 监督学习阶段（批评 $\to$ 修改 $\to$ SL-CAI）

1. 使用红队提示词 $x$ 从有用的 RLHF 模型中采样初始输出。
2. 提示模型根据随机采样的宪法原则对自己的回答进行批评： $$\text{Critique}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{CritiqueRequest})$$
3. 提示模型修改回答以满足批评要求： $$y_{\text{revised}}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{Critique},\text{RevisionRequest})$$
4. 迭代重复批评-修改过程（通常最多 4 次修改）。
5. 在修改后的回答与有用性演示数据（182,831 条红队提示词，135,296 条有用性提示词）组成的配对上，微调预训练语言模型 1 个 epoch，批大小为 1024。

2. 强化学习阶段（RLAIF）

1. 使用 SL-CAI 模型针对提示词采样候选回答对 $(y_A,y_B)$。
2. 将对话、回答对以及采样的原则以多项选择题的形式提供给反馈模型（可选用思维链提示）。
3. 根据反馈模型的生成 logits 计算归一化的目标概率： $$P(A)=\frac{e^{z_A}}{e^{z_A}+e^{z_B}}$$ 使用思维链时，目标概率会被截断到 $[0.40,0.60]$ 区间内，以避免过度自信。
4. 使用混合数据训练偏好模型（PM）：包括 135,296 条人类标注的有用性对比和 182,831 条 AI 生成的无害性对比。
5. 通过强化学习（RL）针对该偏好模型优化 SL-CAI 策略。

结果

• 帕累托改进：众包人员评估（基于 10,274 次有用性对比和 8,135 次无害性对比）表明，在同等有用性下，52B RL-CAI 模型相比于基于人类无害性标签训练的模型取得了更高的无害性 Elo 评分。
• 减少回避行为：当明确指示众包人员更青睐深思熟虑的解释而非回避式拒绝时，RL-CAI 模型的表现持续优于标准 HH RLHF 模型。
• AI 反馈的扩展性：结合思维链推理的更大模型（52B）在 HHH 评估基准上接近了人类偏好训练模型的准确率（在二元多项选择有害识别任务中得分远超 80–90%）。
• 批评对比直接修改：对于较小的模型，引入批评带来了无害性评分的显著提升；而在 52B 模型上，其表现略好于或等同于直接修改。

局限与待探索问题

• 对人类有用性标签的依赖：实验仅在无害性方面消除了人类反馈标签；有用性数据仍依赖人类对比标签。
• 古德哈特定律与过度优化：较长时间的 RL 训练有时会产生说教式或模版化的语言（例如反复强调 “You are valid, valued, and cared for”）。
• CoT 目标校准：由于思维链推理会导致模型极度偏向某一个选项，必须使用概率截断作为启发式手段来维持偏好模型的稳定性。
• 双重用途隐患：降低引导语言模型的标注门槛，同时也意味着在缺乏人类监督的情况下，将模型训练用于有害目的变得更加容易。