XYZNOT

论文 · arXiv 2303.08774

GPT-4 技术报告 (GPT-4 Technical Report)

GPT-4 Technical Report

OpenAI, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, Red Avila et al.

发表于 cs.CLcs.AI arXivPDF

用 XYZNOT 阅读（全文翻译与 AI 讲解）

三句话总结

  1. 🎯 前沿语言模型在扩展至庞大计算预算时，面临着可靠性、对齐和可预测性等方面的瓶颈。
  2. 🔧 预训练了能够对文本和图像输入进行 token 预测的 Transformer，结合 RLHF 和零样本基于规则的奖励模型（RBRMs）进行调优，并建立了可预测的缩放法则（scaling laws）。
  3. 📈 在模拟统一律师资格考试中取得前 10% 的成绩（298/400），并在 5-shot MMLU 上达到 86.4%，同时相较于 GPT-3.5 将违规回复减少了 82%。

摘要

我们报告了 GPT-4 的研发进展。GPT-4 是一种大规模多模态模型，能够接收图像和文本输入并生成文本输出。尽管在许多现实场景中其能力仍不及人类，但 GPT-4 在各类专业和学术基准测试中展现出了人类水平的表现，其中包括以排名前 10% 左右的成绩通过模拟律师资格考试。GPT-4 是一种基于 Transformer 的模型，经过预训练以预测文档中的下一个 token。训练后的对齐过程改善了模型在真实性和遵循预期行为方面的表现。该项目的一个核心组成部分是开发了在广泛计算尺度下表现可预测的基础设施和优化方法。这使我们能够基于计算量不超过 GPT-4 千分之一的模型，准确预测 GPT-4 某些方面的性能表现。

英文原文摘要

We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios, GPT-4 exhibits human-level performance on various professional and academic benchmarks, including passing a simulated bar exam with a score around the top 10% of test takers. GPT-4 is a Transformer-based model pre-trained to predict the next token in a document. The post-training alignment process results in improved performance on measures of factuality and adherence to desired behavior. A core component of this project was developing infrastructure and optimization methods that behave predictably across a wide range of scales. This allowed us to accurately predict some aspects of GPT-4's performance based on models trained with no more than 1/1,000th the compute of GPT-4.

论文解读

问题与动机

大语言模型（LLM）在自然语言处理领域展现了巨大潜力，但早期的迭代版本（如 GPT-3.5）在复杂推理、可靠性、事实准确性和安全性方面存在显著弱点。此外，训练极大规模的前沿模型需要极为庞大的计算预算，导致在最终规模上进行标准的超参数调优变得不可行。GPT-4 的目标是构建一个能够处理任意图像和文本混合输入的大规模多模态模型，同时保持可预测的扩展表现，并大幅改善安全性和对齐水平。

核心思想

  • 可预测的缩放（Predictable Scaling）： 优化流水线和架构可以被稳定化，从而使最终的测试损失和下游编码基准（如 HumanEval 通过率）能够通过计算量低 至 的较小模型可靠地外推预测。
  • 多模态理解（Multimodal Understanding）： GPT-4 接受任意交错的图像和文本，能够在图表、示意图、考试试题和视觉幽默上执行复杂推理，而不会降低纯语言基准的表现。
  • 预训练奠定基础与针对性后训练： 基础模型预训练提供了核心推理和考试知识（基础模型与 RLHF 模型的选择题平均得分基本相当，分别为 73.7% 和 74.0%），而 RLHF 和基于规则的检查则用于引导安全性、格式和真实性。
  • 基于规则的奖励模型（RBRMs）： 对齐过程依赖于模型辅助的安全分类器，在 RLHF 期间提供针对性的辅助奖励，以引导模型对违规提示词做出适度拒绝，并减少在安全提示词上的过度回避行为。

方法（及核心公式）

GPT-4 是一个基于 Transformer 的自回归模型，首先在公开可用的网络数据和许可数据上预训练预测下一个 token，随后进行人类反馈强化学习（RLHF）。

1. 缩放法则外推

为了确保基础设施的可预测性，无需在最终主训练运行中进行经验调优，内部代码 token 的最终损失通过不可约损失公式进行预测： 其中 表示归一化计算量， 是从使用计算量少达 的运行中拟合出的参数。

针对下游基准 HumanEval 上的能力扩展，通过以下公式对各问题子集 的平均对数通过率进行建模： 这使得在预训练前即可外推并注册其功能性代码编写表现。

2. 模型辅助安全流水线

除人类反馈外，RLHF 优化还集成了基于规则的奖励模型（RBRMs）。RBRM 是一个零样本 GPT-4 分类器，它接收：

  • 用户提示词（可选），
  • 策略模型的生成结果，
  • 人类编写的评分规则（rubric，一个将回复划分为期望的拒绝、回避/含糊的拒绝、安全回答或违规内容等多类别规则）。

最优的 RBRM 权重可提供自动化奖励信号，训练策略模型拒绝有害请求（例如 CBRN 威胁、网络攻击），同时在涉及敏感话题的邻近场景中稳定地满足良性请求。

结果（及重要指标）

  • 专业与学术考试： GPT-4 在统一律师资格考试（Uniform Bar Examination）中取得 298/400 分（约前 10% 分位），而 GPT-3.5 为 213/400 分（约后 10% 分位）。在 LSAT 中取得 163 分（约第 88 百分位），在 AP 生物学获得 5 分、AP 微积分 BC 获得 4 分、AP 化学 4 分、AP 艺术史 5 分。
  • 学术 NLP 基准： GPT-4 在 5-shot MMLU（86.4% 对比 GPT-3.5 的 70.0%）、10-shot HellaSwag（95.3%）、25-shot ARC Challenge（96.3%）和 0-shot HumanEval（67.0%）上均刷新了 SOTA 纪录。在 5-shot 思维链 GSM-8K 上达到了 92.0%。
  • 多语言能力： 在 26 种语言翻译版本的 MMLU 测试中，GPT-4 在 24 种语言上的表现超越了 GPT-3.5 和 PaLM 的英语基线，其中包括拉脱维亚语（85.5%）、威尔士语（71.4%）和斯瓦希里语（82.6%）等低资源语言。
  • 安全性与真实性： GPT-4 在内部事实性评估中比最新的 GPT-3.5 高出 19 个百分点。违规回复率降低了 82%，敏感请求依从性提高了 29%，在 RealToxicityPrompts 上的毒性生成率从 6.48%（GPT-3.5）降至 0.73%。

局限性与开放问题

  • 幻觉与校准： 尽管事实错误有所减少，GPT-4 仍会产生事实幻觉并出现基础推理失误。虽然预训练基础模型展现出近乎完美的校准性，但 RLHF 后训练严重破坏了校准能力，导致对齐后的模型在犯错时表现得极度自信。
  • 时效知识截止： 绝大多数预训练数据截止于 2021 年 9 月；模型不会持续更新其世界状态，也无法从部署后的持续交互中学习。
  • 反向缩放与越狱： 某些反直觉模式仅在大规模算力下得以扭转（例如事后忽视，Hindsight Neglect），但对抗性提示、系统消息操纵和多步越狱等脆弱性仍然存在。
  • 缺乏架构透明度： 出于竞争和安全考虑，报告未公开具体的架构细节（参数量、MoE 设计、数据集规模、硬件和确切计算量）。

关键术语

Multimodal Model (多模态模型)
一种能够处理文本和图像的任意输入组合并生成自然语言输出的模型。
Predictable Scaling (可预测缩放)
在全尺寸训练之前，利用较小规模的训练运行（计算量少达 10,000 倍）精确拟合幂律，从而外推预测最终损失和任务能力的方法学。
Rule-Based Reward Models (RBRMs) (基于规则的奖励模型)
以人工制定的评估规则为引导的零样本 GPT-4 分类器，在 RLHF 期间输出辅助奖励信号，用于强化安全拒绝与安全生成。
Uniform Bar Exam (UBE) (统一律师资格考试)
一项标准化的法律执业资格考试，GPT-4 在该考试中取得 298/400 分，达到了人类考生大约前 10% 的水平。
MMLU
大规模多任务语言理解基准（Massive Multitask Language Understanding），涵盖 STEM、人文和社科领域的 57 个学科，用于评估多领域问答能力。
Calibration (校准度)
模型的预测概率或置信度与其实际正确经验频率的一致程度；预训练的 GPT-4 校准度极高，但经过 RLHF 处理后明显退化。
HumanEval
一个通过 docstring 评估 Python 代码生成能力的基准，GPT-4 在该基准上取得了 67.0% 的 0-shot 通过率。
Inverse Scaling (反向缩放)
一种模型性能随着计算量和参数量增加而变差的现象，GPT-4 在事后忽视（Hindsight Neglect）等任务上逆转了这种趋势。

常见问题

报告中披露了 GPT-4 的哪些架构、参数量或硬件细节？

均未透露。出于竞争格局和安全隐患的考量，该报告明确省略了模型大小、架构、数据集构成、硬件以及总训练计算量等信息。

RLHF 如何影响 GPT-4 的核心学术考试表现？

RLHF 对核心考试知识的影响微乎其微：基础版 GPT-4 在选择题考试中的平均得分为 73.7%，而 RLHF 模型的平均得分为 74.0%，这表明能力主要来源于预训练阶段。

针对学术考试的数据污染是如何评估的？

作者在 token 化后的预训练数据中检索了与试题匹配的 50 字符子串；在绝大多数评估中，剔除受污染的题目对最终性能的影响微乎其微。

后训练如何影响模型的校准能力？

预训练的 GPT-4 具有良好的校准度（置信度与准确率高度吻合），但 RLHF 后训练显著破坏了校准性，导致对齐后的模型在给出错误答案时表现出过度自信。

本页解读由 AI 根据论文生成，可能有错误；细节请以原文为准。

用 XYZNOT 阅读（全文翻译与 AI 讲解）