Llama 2：开源基础与微调聊天模型 (Open Foundation and Fine-Tuned Chat Models)

论文解读

问题与动机

尽管 LLaMA-1、BLOOM 和 Falcon 等开源预训练基础模型在基础性能上已能匹敌 GPT-3 等模型，但闭源商业对话助手（例如 ChatGPT、Claude）仍保持着显著领先。这种性能优势源于预训练后通过指令微调和人类反馈强化学习（RLHF）进行的深入对齐，而这需要海量算力、专有标注流程以及红队测试。Meta 开发并开源了 Llama 2 和 Llama 2-Chat（包含 7B、13B 和 70B 参数，以及未公开发布的 34B 变体），旨在推动对齐对话模型的普及，并为对齐与安全研究提供透明的方法学参考。

核心理念

• 规模扩展的预训练：在 2.0 万亿 token 上进行预训练（比 Llama 1 增加了 40%），上下文长度翻倍至 4,096 token，并在 34B 和 70B 模型中引入了分组查询注意力（Grouped-Query Attention, GQA）以加速自回归解码。
• 以质为先的 SFT：研究表明，数万条高质量专业供应商标注的表现优于数百万条存在噪声的第三方数据，因此最终 SFT 仅采用了精选的 27,540 条示范样本。
• 双奖励模型：分别训练了“有用性”（Helpfulness）和“安全性”（Safety）两个独立的奖励模型，以避免安全约束损害有用性表现的内在矛盾。
• 两阶段 RLHF 对齐：将迭代拒绝采样微调（Rejection Sampling fine-tuning，从 70B 蒸馏）与后续的近端策略优化（PPO）相结合。
• Ghost Attention (GAtt)：一种跨多轮对话应用的上下文蒸馏技术，能够在 20 多轮对话中持续维持系统指令，防止指令衰减或遗忘。

方法细节

预训练架构

Llama 2 采用自回归 Transformer 架构，包含 RMSNorm 预归一化、SwiGLU 激活函数以及旋转位置嵌入（RoPE），并在较大规模模型（34B 和 70B）上增加了 GQA。模型使用 AdamW（${\beta }_1=0.9,{\beta }_2=0.95$）、衰减至 10% 的余弦学习率调度、0.1 的权重衰减以及 1.0 的梯度裁剪进行训练。

奖励模型 (Reward Modeling)

人工标注员对采样的两个模型回答进行 4 级评分的对比偏好标注。奖励模型基于预训练的聊天检查点初始化，并使用带有边际（margin）增强的二元排序损失进行优化： $${\mathcal{L}}_{\text{ranking}}=-\log \left(\sigma \left(r_{\theta }(x,y_c)-r_{\theta }(x,y_r)-m(r)\right)\right)$$ 其中 $x$ 为提示上下文，$y_c$ 为更优回答，$y_r$ 为被拒绝回答，$m(r)$ 是取决于标注员偏好程度强弱的离散边际量。

RLHF 目标

优化过程结合了拒绝采样（从最新策略中采样 $K$ 个生成结果，并挑选奖励最高者）和 PPO。PPO 的优化目标是在最大化预期奖励的同时，通过针对初始策略 ${\pi }_0$ 的 KL 散度来惩罚策略偏移： $$R(g\mid p)={\tilde{R}}_c(g\mid p)-\beta D_{\text{KL}}({\pi }_{\theta }(g\mid p)\parallel {\pi }_0(g\mid p))$$ 其中 ${\tilde{R}}_c(g\mid p)$ 是经过白化和 logit 变换的安全性（$R_s$）与有用性（$R_h$）奖励模型的分段组合： $$R_c(g\mid p)=\{\begin{array}{ll}{R}_s(g\mid p)& \text{若 }\text{textsc}is\_safety(p)\text{ 或 }{R}_s(g\mid p)<0.15\\ R_h(g\mid p)& \text{其他情况}\end{array}$$

Ghost Attention (GAtt)

为强化多轮一致性，算法在现有对话的每个用户提示后合成添加指令 $inst$。从最新策略中采样回答，但仅在目标轮次的 token 上计算损失（将先前轮次的损失置零），而在推理时仅保留首轮的 $inst$。

实验结果

• 基础模型基准：Llama 2 70B 超越了所有开源基础模型，在 MMLU（5-shot）上达到 68.9，在 GSM8K（8-shot）上达到 56.8，在 Big-Bench Hard（3-shot）上达到 51.2，性能可与 GPT-3.5 和 PaLM-540B 媲美。
• 人工对话评估：在约 4,000 个提示词的人工评估中，Llama 2-Chat 70B 对比 ChatGPT (gpt-3.5-turbo-0301) 取得了 36% 的胜率和 31.5% 的平局率。Llama 2-Chat 34B 在与 Vicuna-33B 和 Falcon 40B 的头对头评测中胜率超过 75%。
• 安全性与毒性：经过安全对齐的 Llama 2-Chat 将 ToxiGen 上的有害生成率从 24.60%（基础 70B）大幅降至 0.01%，在人工红队基准测试中的违规率均低于 ChatGPT 和 Falcon。

局限性与开放性问题

• 代码编写与复杂推理：Llama 2 70B 在代码基准上仍大幅落后于 GPT-4 和 PaLM-2-L（HumanEval pass@1 仅为 29.9%，而 GPT-4 为 67.0%）。
• 语种覆盖范围：预训练数据中约 89.7% 为英语，导致模型在其他语言中的性能和安全对齐表现较为脆弱。
• 误拒与过度保守：严格的安全调优导致模型在处理边缘提示时出现误拒（例如拒绝包含“bomb”或“Christmas Crack”等词汇的良性询问）。
• 34B 推迟发布：由于在论文发表前红队测试时间不足，34B 模型版本未对公众开放发布。