XYZNOT

论文 · arXiv 2407.21783

Llama 3 模型家族 (The Llama 3 Herd of Models)

The Llama 3 Herd of Models

Aaron Grattafiori, Abhimanyu Dubey, Abhinav Jauhri, Abhinav Pandey, Abhishek Kadian, Ahmad Al-Dahle, Aiesha Letman, Akhil Mathur, Alan Schelten, Alex Vaughan, Amy Yang, Angela Fan et al.

发表于 cs.AIcs.CLcs.CVcs.LG arXivPDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

  1. 🎯 构建开源基础模型，在推理、多语言、代码与工具调用方面比肩专有前沿系统，同时实现可靠的规模化扩展。
  2. 🔧 采用 4D 并行、自研 RoCE 网络、多阶段 128K 上下文扩展以及迭代后训练（SFT、拒绝采样与 DPO），将稠密 Transformer 架构扩展至 15.6T token 上的 405B 参数。
  3. 📈 Llama 3 405B 取得了领先的开源模型性能，在 GSM8K (96.8%)、HumanEval (89.0%) 和 MMLU (87.3%) 等基准测试中均比肩 GPT-4 等模型。

摘要

现代人工智能（AI）系统由基础模型驱动。本文介绍了一套全新的基础模型，名为 Llama 3。它是一个原生支持多语言、编程、推理和工具调用的语言模型家族。我们最大的模型是一个具有 405B 参数和高达 128K token 上下文窗口的稠密 Transformer。本文对 Llama 3 进行了广泛的实证评估。我们发现，Llama 3 在诸多任务上表现出与 GPT-4 等前沿语言模型相媲美的质量。我们公开发布了 Llama 3，包括 405B 参数语言模型的预训练和后训练版本，以及用于输入和输出安全的 Llama Guard 3 模型。本文还展示了通过组合方法将图像、视频和语音能力整合到 Llama 3 中的实验结果。我们观察到该方法在图像、视频和语音识别任务上取得了极具竞争力的前沿表现。由于这些模型仍在开发中，尚未进行广泛公开发布。

英文原文摘要

Modern artificial intelligence (AI) systems are powered by foundation models. This paper presents a new set of foundation models, called Llama 3. It is a herd of language models that natively support multilinguality, coding, reasoning, and tool usage. Our largest model is a dense Transformer with 405B parameters and a context window of up to 128K tokens. This paper presents an extensive empirical evaluation of Llama 3. We find that Llama 3 delivers comparable quality to leading language models such as GPT-4 on a plethora of tasks. We publicly release Llama 3, including pre-trained and post-trained versions of the 405B parameter language model and our Llama Guard 3 model for input and output safety. The paper also presents the results of experiments in which we integrate image, video, and speech capabilities into Llama 3 via a compositional approach. We observe this approach performs competitively with the state-of-the-art on image, video, and speech recognition tasks. The resulting models are not yet being broadly released as they are still under development.

论文解读

问题与动机

现代人工智能系统高度依赖海量基础模型，然而最具能力的模型（如 GPT-4）大多保持闭源。构建一个开源、前沿水准的模型需要克服三大核心领域的巨大工程瓶颈：数据整理、算力规模以及系统复杂性管理。

作者团队开发了 Llama 3，这是一个涵盖 8B、70B 和 405B 参数的多语言模型家族，支持高达 128K 的上下文窗口、零样本与多步工具调用、高阶推理以及代码生成。

核心思想

  • 通过稠密架构管控复杂性：作者并未转向混合专家（MoE）架构，而是坚持使用标准的稠密 Transformer（405B 模型采用 126 层、16,384 维度、128 个注意力头），并配合分组查询注意力（GQA）和基频 的 RoPE，以最大化预训练稳定性。
  • 数据规模扩展与严格筛选：预训练数据量从 Llama 2 的 1.8T tokens 扩展到跨多个领域的约 15.6T tokens（约 50% 通用知识、25% 数学/推理、17% 代码、8% 多语言）。
  • 可预测的缩放定律（Scaling Laws）：在正式训练开始前，利用两阶段缩放定律框架在跨越四个数量级的范围内将计算量与下游任务性能（如 ARC Challenge）建立对应联系。
  • 迭代后训练：通过六轮对齐训练，将监督微调（SFT）、拒绝采样（RS）和直接偏好优化（DPO）与针对性的合成数据生成相结合。
  • 4D 并行与基础设施：在多达 16K 张 H100 GPU 上，结合使用张量并行（TP）、上下文并行（CP）、流水线并行（PP）和完全分片数据并行（FSDP/DP）对 405B 模型进行预训练。

方法（及核心公式）

1. 缩放定律形式化

计算最优的 token 分配被建模为计算预算 的幂律函数：

在 到 FLOPs 的计算预算区间内进行实证拟合，确定了 。将其外推至目标预算 FLOPs，预测结果建议在 16.55T tokens 上训练一个 402B 参数的模型，这为 405B 参数的最终架构设计提供了依据。

2. 上下文窗口扩展与注意力掩码

从 8K 到 128K tokens 的上下文扩展在涵盖约 800B tokens 的六个连续预训练阶段中完成。为防止在同一长上下文序列中打包的文档之间出现交叉污染，模型应用了专门的文档注意力掩码（document attention mask）。

上下文并行（CP）将输入序列切分为 个分块，对键（）和值（）表示执行 all-gather 通信模式。由于 GQA 相比查询（）减少了 和 的尺寸，因此 all-gather 通信开销 相比注意力计算的 几乎可以忽略不计。

3. 直接偏好优化（DPO）适配

在偏好优化中，格式化 token（标头与终止符）被显式地从 DPO 损失中屏蔽，以防止生成重复的尾部或过早停止。此外，还在选定序列（chosen sequence）中加入了辅助负对数似然（NLL）正则化项：

结果（重要数据）

  • 旗舰 405B 基准测试：
    • MMLU (5-shot): 87.3% (0-shot CoT: 88.6%)
    • GSM8K (8-shot, CoT): 96.8%
    • MATH (0-shot, CoT): 73.8%
    • HumanEval (0-shot): 89.0%
    • ARC Challenge (0-shot): 96.9%
    • IFEval: 88.6%
  • 较小模型（8B 与 70B）：两款模型均优于同量级开源竞品（如 Gemma 2 9B、Mistral 7B、Mixtral 8x22B）。例如，Llama 3 8B 在 0-shot CoT MMLU 上达到 73.0%，在 GSM8K 上达到 84.5%。
  • 长上下文：在长达 128K tokens 的单针大海捞针测试中达到 100% 召回率，405B 模型的“多针检索”（Multi-needle）召回率达到 98.1%。
  • 预训练效率：在 16,384 张 H100 GPU 上的各配置中，BF16 模型 FLOPs 利用率（MFU）达到了 38–43%，在历时 54 天的观测窗口中，尽管发生了 466 次中断，依然保持了超过 90% 的有效训练时间。

局限性与开放性问题

  • 硬件可靠性与规模波动：在 16K GPU 规模下，硬件中断平均每天发生数次（78% 的意外中断由硬件/GPU 问题引起）。在保存检查点或集体通信步骤期间，数十兆瓦的瞬时功率波动对数据中心的电网提出了极高挑战。
  • 对抗鲁棒性差距：尽管在释义基准（PAWS）上表现稳健，但在数学推理和问答对抗基准（GSM-Plus、Adv SQuAD）上，相比非对抗基准出现了显著的性能退化。
  • 多模态可用性：视觉和语音适配器在研究环境中展现了具有竞争力的能力，但仍处于积极开发阶段，未包含在此次的初始公开发布中。

关键术语

4D Parallelism
在数千张 GPU 上结合了张量并行（TP）、上下文并行（CP）、流水线并行（PP）和数据并行（FSDP）的并行训练配置。
Grouped Query Attention (GQA)
一种注意力变体，多个查询头共享同一组键值头（本文为 8 个 KV 头），以减少推理过程中的键值缓存（KV cache）显存占用。
Context Parallelism (CP)
一种将长输入序列分片到多个 GPU 上的技术，对键和值的投影使用 all-gather 通信。
Direct Preference Optimization (DPO)
一种无需强化学习的偏好优化算法，在后训练中用于使模型生成对齐人类偏好。
Rejection Sampling (RS)
一种后训练过程，从策略模型中采样多个输出，并使用奖励模型进行过滤，以生成高质量的 SFT 训练数据。
IsoFLOPs curves
在固定的训练计算预算下，衡量不同模型大小与 token 数量组合下实证损失的曲线，用于确定计算最优架构。
Model FLOPs Utilization (MFU)
实际观察到的每秒浮点运算次数与硬件理论峰值最大吞吐量之间的比率。
Annealing
预训练的最终阶段，在该阶段学习率在高质量、针对特定领域的数据集上线性衰减至零。

常见问题

Llama 3 模型支持多长的上下文长度？

所有 Llama 3.1 模型（8B、70B 和 405B）均支持高达 128K tokens 的上下文长度，这是通过分阶段的长上下文预训练以及对 RoPE 基频（500,000）的调整实现的。

作者为什么选择稠密架构而不是混合专家（MoE）？

为了在庞大的计算规模（ FLOPs）下优先保证训练稳定性并管理工程复杂性，他们选择具有成熟缩放特性的简单架构，而非 MoE。

后训练期间是如何使用合成数据的？

利用执行反馈、静态/动态 linter 和单元测试生成了超过 270 万条合成代码对话，同时还为反向翻译、多步工具调用和文档摘要生成了合成数据。

初始发布中是否包含多模态的视觉和语音版本？

不包含。虽然论文中描述了通过交叉注意力适配器集成图像、视频和语音编码器的实验，但 Meta 指出在论文发表时这些模型仍在开发中。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）