GPT-4 Technical Report

論文解説

問題設定と動機

大規模言語モデル（LLMs）は自然言語処理全体で大きな可能性を示してきたが、従来のモデル（GPT-3.5など）は複雑な推論、信頼性、事実の正確性、そして安全性において顕著な弱点を抱えていた。さらに、極めて大規模なフロンティアモデルの学習には膨大な計算資源が必要であり、最終スケールで標準的なハイパーパラメータ調整を行うことは不可能である。GPT-4の目標は、予測可能なスケーリング挙動を維持し、安全性とアライメントを大幅に向上させながら、画像とテキストの任意の組み合わせを処理できる大規模マルチモーダルモデルを構築することにある。

主要なアイデア

• 予測可能なスケーリング（Predictable Scaling）: $1,000\times$から$10,000\times$少ない計算量で学習された小規模モデルから、最終的なテスト損失や下流のコーディングベンチマーク（HumanEvalの通過率など）を確実に外挿できるよう、最適化パイプラインとアーキテクチャを安定化できる。
• マルチモーダル理解: GPT-4は画像とテキストが任意に混在した入力を受け付け、純粋な言語ベンチマークの性能を損なうことなく、図表、ダイアグラム、試験問題、視覚的ユーモアにまたがる複雑な推論を実行する。
• 事前学習の優位性と的を絞った事後学習: ベースモデルの事前学習がコアとなる推論能力や試験知識を提供する（ベースモデルとRLHFモデルの選択式問題の平均スコアは73.7% vs. 74.0%と実質的に同等）。一方で、RLHFやルールベースのチェックは、安全性、フォーマット、事実性の制御を担う。
• Rule-Based Reward Models (RBRMs): アライメント手法として、モデル支援型の安全性分類器を活用する。これによりRLHF中に目的特化型の補助報酬を提供し、不許可プロンプトに対する適切な拒絶を誘導するとともに、安全なプロンプトに対する過剰な回避（over-hedging）を低減する。

手法（主要な数式を含む）

GPT-4は、公開されているウェブデータおよびライセンス供与されたデータを用いて次のトークンを予測するよう事前学習されたTransformerベースの自己回帰モデルであり、その後にHuman Feedbackからの強化学習（RLHF）が適用されている。

1. スケーリング則の外挿

一次学習ランでの経験的なチューニングを行うことなくインフラストラクチャの予測可能性を保証するため、内部コードトークンに対する最終損失は以下の既約損失（irreducible loss）の定式化を用いて予測された： $$L(C)=a{C}^b+c$$ ここで$C$は正規化された計算量を表し、$a,b,c$は最大$10,000\times$少ない計算量を用いたランからフィッティングされたパラメータである。

HumanEvalにおける下流能力のスケーリングについては、問題サブセット$P$における平均対数通過率が次のようにモデル化された： $$-{\mathbb{E}}_P[\log (pass\_rate(C))]=\alpha \cdot C^{-k}$$ これにより、機能的コーディング性能の事前登録（学習前の予測）が可能となった。

2. モデル支援型安全性パイプライン

人間のフィードバックに加えて、RLHFの最適化にはRule-Based Reward Models（RBRMs）が組み込まれている。RBRMはゼロショットのGPT-4分類器であり、以下を入力として受け取る：

• ユーザープロンプト（任意）
• ポリシーモデルの生成結果
• 人間が作成したルーブリック（回答を「望ましい拒絶」「曖昧・冗長な拒絶」「安全な回答」「不許可コンテンツ」などのカテゴリに分類するマルチクラスルーブリック）

最適化されたRBRMの重みは自動化された報酬シグナルを提供し、有害なリクエスト（CBRNの脅威、サイバー攻撃など）を拒絶しつつ、隣接する機微なトピックにおける無害なリクエストには確実に回答するようポリシーモデルを学習させる。

結果（主要な数値を網羅）

• 専門試験および学術試験: GPT-4はUniform Bar Examination（統一司法試験）で298/400点（約90パーセンタイル）を獲得した（GPT-3.5は213/400点、約10パーセンタイル）。LSATでは163点（約88パーセンタイル）を記録し、AP Biologyで5、AP Calculus BCで4、AP Chemistryで4、AP Art Historyで5を取得した。
• 学術的NLPベンチマーク: 5-shot MMLU（GPT-3.5の70.0%に対し86.4%）、10-shot HellaSwag（95.3%）、25-shot ARC Challenge（96.3%）、0-shot HumanEval（67.0%）で新たなSOTAを樹立した。5-shotの思考の連鎖（Chain-of-Thought）を用いたGSM-8Kでは92.0%を達成した。
• 多言語能力: 26言語に翻訳されたMMLUにおいて、GPT-4はラトビア語（85.5%）、ウェールズ語（71.4%）、スワヒリ語（82.6%）などの低リソース言語を含む24言語で、GPT-3.5およびPaLMの英語ベースラインを上回った。
• 安全性と事実性: 社内の事実性評価において、GPT-4は最新のGPT-3.5よりも19パーセンテージポイント高いスコアを獲得した。不許可な応答の割合は82%減少し、機微なリクエストへの適切な対応は29%改善、RealToxicityPromptsにおける有害性生成率は6.48%（GPT-3.5）から0.73%へと低下した。

限界と未解決の課題

• 幻覚（Hallucination）とキャリブレーション: 事実誤認は減少したものの、GPT-4は依然として事実を捏造し、基本的な推論ミスを犯す。事前学習されたベースモデルはほぼ完璧なキャリブレーションを示すのに対し、RLHFによる事後学習はキャリブレーションを大きく損ない、アライメント済みモデルが誤った回答を確信を持って出力する原因となっている。
• 知識のカットオフ時期: 事前学習データの大部分は2021年9月で打ち切られており、モデルは世界の状態を継続的に更新したり、実際の運用対話から学習したりすることはない。
• 逆スケーリングと脱獄（Jailbreak）: 直感に反する特定のパターン（Hindsight Neglectなど）はスケールに伴って解消されるが、敵対的プロンプティング、システムメッセージの操作、複数ステップの脱獄に対する脆弱性は依然として残る。
• アーキテクチャの透明性の欠如: 競合環境および安全面への配慮から、アーキテクチャの仕様（パラメータ数、MoE設計、データセットサイズ、ハードウェア、正確な計算量）は公開されていない。