Llama 2: オープンな基盤モデルおよびファインチューニング済みチャットモデル

論文解説

課題と動機

LLaMA-1、BLOOM、Falconなどのオープンアクセスな事前学習済み基盤モデルは、GPT-3のようなモデルの素のベース性能には匹敵していたものの、商用チャットアシスタント（ChatGPT、Claudeなど）は依然として大きなリードを保っていました。この性能差は、膨大な計算資源、独自のデータアノテーションパイプライン、レッドチーミングを必要とする、指示チューニングおよび人間のフィードバックによる強化学習（RLHF）を通じた事前学習後の徹底的なアライメントに起因していました。Metaは、アライメント済み対話モデルを民主化し、アライメントと安全性に関する透明性のある手法を提供するため、Llama 2およびLlama 2-Chat（7B、13B、70Bパラメータ、および未公開の34Bバリアント）を開発・公開しました。

主要なアイデア

• 事前学習の拡張: Llama 1から40%増となる2兆トークンで事前学習を実施。コンテキスト長を4,096トークンへと倍増させ、自己回帰デコードを高速化するために34Bおよび70BモデルにGrouped-Query Attention（GQA）を導入。
• 品質重視のSFT: 何百万ものノイズを含むサードパーティデータよりも、ベンダーによる数万件の高品質なアノテーションが優れていることを実証し、厳選された27,540件のデモンストレーションにSFTを絞り込み。
• 二重報酬モデリング（Dual Reward Modeling）: 安全性の制約が有用性を損なうトレードオフを回避するため、有用性用と安全性用の2つの独立した報酬モデルを学習。
• 2段階のRLHFアライメント: （70Bから蒸留された）反復的な棄却サンプリング（Rejection Sampling）ファインチューニングと、その後のProximal Policy Optimization（PPO）を組み合わせ。
• Ghost Attention（GAtt）: マルチターン対話全体に適用されるコンテキスト蒸留技術であり、指示の忘却を起こすことなく、20ターン以上の対話にわたって持続的なシステム指示を維持。

手法

事前学習アーキテクチャ

Llama 2は、RMSNormによる事前正規化、SwiGLU活性化関数、および回転位置埋め込み（RoPE）を特徴とする自己回帰Transformerアーキテクチャを採用しており、大規模モデル（34Bおよび70B）にはGQAが追加されています。モデルはAdamW（${\beta }_1=0.9,{\beta }_2=0.95$）、最終的に10%まで減衰するコサイン学習率スケジュール、重み減衰0.1、勾配クリッピング1.0で学習されました。

報酬モデリング

人間のアノテーターが、サンプリングされた2つの応答間で4段階評価の比較嗜好を付与します。報酬モデルは事前学習済みのチャットチェックポイントから初期化され、マージン付きバイナリランキング損失によって最適化されます: $${\mathcal{L}}_{\text{ranking}}=-\log \left(\sigma \left(r_{\theta }(x,y_c)-r_{\theta }(x,y_r)-m(r)\right)\right)$$ ここで、$x$はプロンプトのコンテキスト、$y_c$は好まれた応答、$y_r$は拒絶された応答、$m(r)$はアノテーターの嗜好の強さに応じた離散的なマージンです。

RLHFの目的関数

最適化は、棄却サンプリング（最新のポリシーから$K$個の補完をサンプリングし、最も高い報酬の補完を選択）およびPPOを介して実行されます。PPOの目的関数は、初期ポリシー${\pi }_0$に対するKLダイバージェンスを介してポリシードリフトをペナルティとしつつ、期待報酬を最大化します: $$R(g\mid p)={\tilde{R}}_c(g\mid p)-\beta D_{\text{KL}}({\pi }_{\theta }(g\mid p)\parallel {\pi }_0(g\mid p))$$ ここで、${\tilde{R}}_c(g\mid p)$は、安全性（$R_s$）と有用性（$R_h$）の報酬モデルの白色化・ロジット変換された区分結合です: $$R_c(g\mid p)=\{\begin{array}{ll}{R}_s(g\mid p)& \text{if }\text{textsc}is\_safety(p)\text{ or }{R}_s(g\mid p)<0.15\\ R_h(g\mid p)& \text{otherwise}\end{array}$$

Ghost Attention（GAtt）

マルチターンの一貫性を保つため、既存の対話内の各ユーザープロンプトに指示$inst$が合成的に追加されます。最新のポリシーから応答がサンプリングされますが、損失はターゲットターンのトークンのみで計算され（前のターンの損失はゼロ化）、推論時には最初のターンにのみ$inst$が保持されます。

結果

• ベースモデルのベンチマーク: Llama 2 70Bはすべてのオープンソースベースモデルを上回り、MMLU（5-shot）で68.9、GSM8K（8-shot）で56.8、Big-Bench Hard（3-shot）で51.2を達成し、GPT-3.5やPaLM-540Bに匹敵。
• 人間による対話評価: 約4,000件のプロンプトを対象とした人間による評価において、Llama 2-Chat 70BはChatGPT（gpt-3.5-turbo-0301）に対して勝率36%、引き分け率31.5%を記録。Llama 2-Chat 34Bは、Vicuna-33BおよびFalcon 40Bとの直接対決で75%以上の勝率を達成。
• 安全性と有害性: 安全性にアライメントされたLlama 2-Chatは、ToxiGenにおける有害生成率を24.60%（ベース70B）から0.01%に低減し、人間のレッドチームベンチマーク全体でChatGPTやFalconよりも低い安全性違反率を示した。

限界と未解決の課題

• コーディングと複雑な推論: Llama 2 70Bは、コーディングベンチマークにおいてGPT-4やPaLM-2-Lに大きく遅れをとっています（HumanEval pass@1はGPT-4の67.0%に対して29.9%）。
• 言語のカバー範囲: 事前学習データの約89.7%が英語であるため、他言語におけるモデルの性能および安全網のアライメントは脆弱です。
• 誤拒絶（過剰な保守性）: 厳格な安全性チューニングにより、境界的なプロンプトに対する誤拒絶（例: 「bomb」や「Christmas Crack」などの単語を含む無害なクエリの拒否）が発生します。
• 34Bのリリース見送り: 34Bモデルのバリアントは、論文公開前にレッドチーミングを行う時間が不十分であったため、一般公開が見送られました。