XYZNOT

論文 · arXiv 2303.08774

GPT-4 技術報告

GPT-4 Technical Report

OpenAI, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, Red Avila et al.

發表於 cs.CLcs.AI arXivPDF

用 XYZNOT 閱讀（全文翻譯與 AI 講解）

三句話總結

  1. 🎯 前沿語言模型在擴展至龐大運算規模時，面臨可靠性、對齊以及可預測性等多重挑戰。
  2. 🔧 預先訓練 Transformer 預測文字與圖像輸入的 token，並透過 RLHF 與零樣本規則型獎勵模型（RBRM）進行微調，具備可預測的擴展法則。
  3. 📈 在模擬統一律師資格考試中取得前 10%（298/400），5-shot MMLU 達 86.4%，同時將違規回應率相比 GPT-3.5 降低了 82%。

摘要

我們在此報告 GPT-4 的開發成果。這是一個大型多模態模型，能接收圖像與文字輸入並產生文字輸出。雖然在許多現實情境中能力仍遜於人類，但 GPT-4 在各項專業與學術基準測試中展現出人類水準的表現，包括在模擬美國統一律師資格考試（Uniform Bar Exam）中取得前 10% 左右的成績。GPT-4 是一個基於 Transformer 的模型，透過預先訓練以預測文件中的下一個 token。後訓練對齊流程顯著提升了真實性以及遵循預期行為的指標。本專案的核心關鍵之一，是開發出在不同規模下都能維持可預測行為的基礎架構與優化方法。這使我們得以僅憑運算量不超過 GPT-4 千分之一的模型，便精準預測 GPT-4 部分面向的效能表現。

英文原文摘要

We report the development of GPT-4, a large-scale, multimodal model which can accept image and text inputs and produce text outputs. While less capable than humans in many real-world scenarios, GPT-4 exhibits human-level performance on various professional and academic benchmarks, including passing a simulated bar exam with a score around the top 10% of test takers. GPT-4 is a Transformer-based model pre-trained to predict the next token in a document. The post-training alignment process results in improved performance on measures of factuality and adherence to desired behavior. A core component of this project was developing infrastructure and optimization methods that behave predictably across a wide range of scales. This allowed us to accurately predict some aspects of GPT-4's performance based on models trained with no more than 1/1,000th the compute of GPT-4.

論文解讀

問題與動機

大型語言模型（LLM）在自然語言處理領域展現了巨大潛力，但先前的版本（如 GPT-3.5）在複雜推理、可靠性、事實精準度與安全性方面仍有顯著弱點。此外，訓練極為龐大的前沿模型需要巨額的運算預算，在最終規模下進行標準的超參數微調完全不可行。GPT-4 的目標是構建一個大規模的多模態模型，能夠處理任意交錯的圖像與文字輸入，同時維持可預測的擴展行為，並大幅改善安全性與對齊水準。

核心概念

  • 可預測的擴展（Predictable Scaling）： 優化流程與模型架構得以被穩定控制，使得最終的測試損失（test loss）與下游程式碼基準測試（如 HumanEval 的通過率），能從運算量少 到 的小型模型中可靠地推導出來。
  • 多模態理解： GPT-4 接受任意交錯排列的圖像與文字，能跨圖表、架構圖、考試題目與視覺幽默進行複雜推理，且不會損害純語言任務的基準表現。
  • 以預先訓練為主、目標導向的後訓練： 基礎模型的預先訓練賦予了核心推理能力與考試知識（基礎模型與 RLHF 模型的選擇題平均得分基本上相當，分別為 73.7% 與 74.0%），而 RLHF 與基於規則的檢查則負責引導安全性、輸出格式與事實性。
  • 規則型獎勵模型（RBRM）： 對齊流程仰賴模型輔助的安全性分類器，在 RLHF 期間提供具針對性的輔助獎勵，引導模型適當拒絕不合規的提示，並減少在安全提示下出現過度推託的情況。

方法（與關鍵公式）

GPT-4 是一個基於 Transformer 的自迴歸模型，在公開網路資料與授權資料上進行預先訓練以預測下一個 token，隨後進行人類回饋強化學習（RLHF）。

1. 擴展法則外推（Scaling Law Extrapolation）

為了在不依賴主要運算任務實證調校的情況下確保基礎設施的可預測性，內部程式碼 token 的最終損失透過不可約損失公式進行預測： 其中 代表正規化運算量，而 則是利用運算量低達 的小型任務所擬合出的參數。

針對 HumanEval 的下游能力擴展，問題子集 上的平均對數通過率模型為： 從而能在預先訓練前先行登錄功能性程式碼能力的預測。

2. 模型輔助安全流程

除了人類回饋外，RLHF 的優化過程也納入了規則型獎勵模型（RBRMs）。RBRM 是一個零樣本 GPT-4 分類器，接收：

  • 使用者提示（選填）、
  • 策略模型的生成內容、
  • 人工編寫的評分標準（將回應分類為預期拒絕、推託/冗長拒絕、安全回答或違規內容等類別的多類別評分準則）。

最適化的 RBRM 權重提供了自動化獎勵訊號，訓練策略模型拒絕有害請求（例如 CBRN 威脅、網路攻擊），同時在相鄰的敏感主題中可靠地回應良性請求。

結果（與最重要的數據）

  • 專業與學術考試： GPT-4 在統一律師資格考試（Uniform Bar Examination）中取得 298/400（約前 10% 百分位數，而 GPT-3.5 僅為 213/400，約後 10%）。在 LSAT 考試中取得 163 分（約第 88 百分位數），並在 AP 生物（5 分）、AP 微積分 BC（4 分）、AP 化學（4 分）及 AP 藝術史（5 分）取得優異成績。
  • 學術 NLP 基準測試： GPT-4 在 5-shot MMLU（86.4% 對比 GPT-3.5 的 70.0%）、10-shot HellaSwag（95.3%）、25-shot ARC Challenge（96.3%）與 0-shot HumanEval（67.0%）上創下了全新 SOTA。在 5-shot 思維鏈 GSM-8K 上，它達到了 92.0%。
  • 多語言能力： 在 26 種語言的翻譯版 MMLU 測試中，GPT-4 在 24 種語言上的表現超越了 GPT-3.5 與 PaLM 的英文基準，包括拉脫維亞語（85.5%）、威爾斯語（71.4%）與史瓦希利語（82.6%）等低資源語言。
  • 安全性與真實性： GPT-4 在內部真實性評估中的得分比最新的 GPT-3.5 高出 19 個百分點。違規回應率降低了 82%，敏感請求遵循度提升了 29%，在 RealToxicityPrompts 上的有害內容生成率從 6.48%（GPT-3.5）降至 0.73%。

限制與開放研究問題

  • 幻覺與校準（Calibration）： 儘管事實錯誤已大幅減少，GPT-4 仍會產生虛構事實並犯下基本推理錯誤。雖然預先訓練的基礎模型展現了近乎完美的校準度，但 RLHF 後訓練嚴重損害了校準表現，導致對齊後的模型容易在答錯時過度自信。
  • 時效性資料截止點： 絕大多數預先訓練資料截止於 2021 年 9 月；模型無法持續更新其世界狀態，也無法從持續的部署互動中自主學習。
  • 反向擴展（Inverse Scaling）與越獄： 某些違反直覺的模式僅在模型規模擴大時才會反轉（例如事後忽視 Hindsight Neglect），但對對抗性提示、系統訊息操縱與多步驟越獄的脆弱性依然存在。
  • 缺乏架構透明度： 由於競爭態勢與安全考量，具體架構規格（參數數量、MoE 設計、資料集大小、硬體規格與確切運算量）皆未公開。

關鍵術語

Multimodal Model
一種能夠接收文字與圖像任意組合的輸入，並生成自然語言回應的模型。
Predictable Scaling
一種利用小規模訓練任務（運算量最高少 10,000 倍）精準擬合冪律，並在全規模訓練前預測最終損失與任務能力的方法學。
Rule-Based Reward Models (RBRMs)
由人工編寫的評分標準指導的零樣本 GPT-4 分類器，在 RLHF 期間輸出輔助獎勵訊號，以強化安全的拒絕與安全的生成內容。
Uniform Bar Exam (UBE)
一種標準化法律資格考試，GPT-4 在該考試中取得 298/400 分，約達全體考生前 10% 的水準。
MMLU
大規模多任務語言理解（Massive Multitask Language Understanding），涵蓋 STEM、人文與社會科學等 57 個學科領域的基準測試，用於評估跨領域問答能力。
Calibration
模型預測的機率或信心水準與其答對的真實實證頻率相符的程度；預先訓練的 GPT-4 校準度極高，但會受到 RLHF 的破壞。
HumanEval
一項評估從 docstring 生成 Python 程式碼能力的基準測試，GPT-4 在該基準中取得了 67.0% 的 0-shot 通過率。
Inverse Scaling
一種模型效能隨著運算量和參數量增加而反而變差的現象；GPT-4 在事後忽視（Hindsight Neglect）等任務上成功扭轉了此趨勢。

常見問題

報告中是否有透露 GPT-4 的架構、參數量或硬體細節？

完全沒有。考量到市場競爭格局與安全層面的影響，本報告明確省略了模型規模、架構、資料集組成、硬體與總訓練運算量等細節。

RLHF 如何影響 GPT-4 的核心學術考試表現？

RLHF 對核心考試知識的影響極小：基礎 GPT-4 在選擇題考試中的平均得分為 73.7%，而 RLHF 模型為 74.0%，這表明模型能力主要來自預先訓練階段。

如何針對學術考試進行資料污染（Data Contamination）評估？

研究團隊在 tokenize 後的預先訓練資料中搜尋了考試題目的 50 字元子字串；在移除受污染的題目後，幾乎所有評估任務的效能差異都可以忽略不計。

後訓練如何影響模型校準（Calibration）？

預先訓練的 GPT-4 具備良好的校準度（信心水準與準確率相符），但 RLHF 後訓練顯著破壞了校準表現，導致對齊後的模型在給出錯誤答案時表現出過度自信。

本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。

用 XYZNOT 閱讀（全文翻譯與 AI 講解）