論文 · arXiv 2203.15556
計算量的に最適な大規模言語モデルの訓練
Training Compute-Optimal Large Language Models
3行まとめ
- 🎯 固定された計算予算の下で、モデルパラメータ数と訓練トークン数の最適なトレードオフを決定。
- 🔧 最小損失エンベロープ、IsoFLOPスライス、パラメトリック損失モデリングを用い、400以上のTransformer実行からスケーリング則を実証的にフィッティング。
- 📈 パラメータとトークンは等しくスケールすべきである（、）。1.4Tトークンで訓練された70BのChinchillaモデルは、Gopherの計算予算と同等でありながらMMLUで67.6%を達成。
概要
本研究では、所与の計算予算の下でTransformer言語モデルを訓練する際の最適なモデルサイズとトークン数を調査します。その結果、現在のLLM（大規模言語モデル）は著しく学習不足であることが判明しました。これは、訓練データ量を一定に保ちながら言語モデルをスケールアップすることに近年注力してきた結果です。70Mから16B以上のパラメータを持つ400以上の言語モデルを5Bから500Bのトークンで訓練することにより、計算量的に最適な訓練を行うには、モデルサイズと訓練トークン数を均等にスケールさせる必要があることを明らかにしました。すなわち、モデルサイズを2倍にするごとに、訓練トークン数も2倍にすべきです。我々は、Gopherと同じ計算予算を使用しながら、70Bのパラメータと4倍のデータを用いる予測計算最適モデルChinchillaを訓練することでこの仮説を検証しました。Chinchillaは、広範な下流評価タスクにおいて、Gopher（280B）、GPT-3（175B）、Jurassic-1（178B）、Megatron-Turing NLG（530B）を一貫して大幅に上回ります。これはまた、Chinchillaがファインチューニングや推論に必要な計算量を大幅に削減し、下流タスクでの利用を大いに促進することを意味します。特筆すべき点として、ChinchillaはMMLUベンチマークでSOTAとなる平均精度67.5%を達成し、Gopherから7%以上の改善を記録しました。
英語の原文概要
We investigate the optimal model size and number of tokens for training a transformer language model under a given compute budget. We find that current large language models are significantly undertrained, a consequence of the recent focus on scaling language models whilst keeping the amount of training data constant. By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled. We test this hypothesis by training a predicted compute-optimal model, Chinchilla, that uses the same compute budget as Gopher but with 70B parameters and 4 more more data. Chinchilla uniformly and significantly outperforms Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), and Megatron-Turing NLG (530B) on a large range of downstream evaluation tasks. This also means that Chinchilla uses substantially less compute for fine-tuning and inference, greatly facilitating downstream usage. As a highlight, Chinchilla reaches a state-of-the-art average accuracy of 67.5% on the MMLU benchmark, greater than a 7% improvement over Gopher.
論文解説
問題設定と動機
先行研究（特に Kaplan et al., 2020）は、計算量が増加する際、トークン数の増加を緩やかに抑えつつ（）、モデルパラメータを積極的にスケールさせるべきである（）と示唆していました。その結果、GPT-3（175B）、Jurassic-1（178B）、Gopher（280B）、MT-NLG（530B）などの大規模モデルは、一貫して約3000億トークンで訓練されてきました。しかし、これにより大規模モデルは投入された計算量に対して著しく学習不足となっていました。本研究ではこのトレードオフを再検討し、固定された計算予算 の下でテスト損失を最小化するために、パラメータ数 とトークン数 をどのように割り当てるべきかを明らかにします。
主要なアイデア
- 等比スケーリング: モデルパラメータを2倍にするごとに、訓練トークンも2倍にする必要があります（、）。
- コサインスケジュールの整合: 学習率スケジュールは実際の訓練期間（ホライズン）と一致させる必要があります。固定された長い期間（例：130Bトークン）で減衰させた実行の中間ポイントを使用すると、より少ないトークン数での損失が過大評価され、実証的なスケーリング予測が歪んでしまいます。
- 下流タスクの効率化: より小さなモデルを大幅に多くのトークンで訓練することで、事前学習の計算パリティを保ちながら同等以上の精度を達成でき、メモリフットプリント、ファインチューニング費用、推論レイテンシを劇的に削減できます。
手法（主要な数式を含む）
著者らは、3つの補完的なアプローチを用いて400以上のモデル（70M〜16Bパラメータ、5B〜500Bトークンで訓練）を評価しました。
訓練曲線上の最小値: 固定モデルアーキテクチャに対して4つの異なる期間でホライズンを変更。FLOPごとの最小損失のエンベロープを抽出し、以下のべき乗則にフィッティング: 結果: 、。
IsoFLOPプロファイル: ホライズンに合わせたコサイン減衰を用い、9つの離散的な予算（ 〜 ）で総FLOP数を固定。パラメータ数に対する放物線をフィッティングして損失の最小点を見つけるアプローチで、、 を取得。
パラメトリック損失フィッティング: リスク分解を用いて平滑化損失をモデル化: ここで は自然テキストのエントロピー、 は表現の非最適性、 は早期終了/有限データによる非最適性を表します。対数残差に対する Huber loss を最小化することで、、、、、 を取得。 の制約下において:
結果（主要な数値）
- Chinchilla 70B: Gopherと同じFLOP予算（ FLOPs、厳密な計算では ）を使用し、70Bパラメータと1.4兆トークンで訓練。
- MMLUベンチマーク: Chinchillaは平均5-shot精度で67.6%を達成し、Gopher（60.0%）やGPT-3（43.9%）を上回り、2023年6月の人間専門家予測（63.4%）を超過。4つの異なるMMLUタスクで の精度を達成。
- 下流ベンチマーク: BIG-bench（65.1% vs 54.4%）、LAMBADA（77.4% vs 74.5%）、Closed-book Natural Questions（5-shotで31.5% vs 24.5%）でGopherを圧倒。
- バイアスと有害性: プロンプトなしの有害性はGopherと同等（中央値0.064 vs 0.066）を維持しつつ、Winogenderの全体精度は71.4%から78.3%に向上。
限界と未解決の課題
- 訓練コストの制約により、パリティで直接検証された大規模フロンティアポイントは2点のみ（Gopher 280B vs Chinchilla 70B）。
- Webデータセットに対するシングルエポック訓練を前提としており、複数エポックにわたるデータの繰り返しに関する挙動は未検証。
- 高い計算予算において にわずかな負の曲率（凹性）が見られる実証結果があり、べき乗則が依然として最適なモデルサイズをわずかに過大評価している可能性が示唆されます。
重要用語
- Chinchilla
- Gopherの計算予算を使用し、1.4兆トークンで訓練された700億パラメータの自己回帰型言語モデル。
- Gopher
- 計算量的に同等なベースラインとして機能する、3000億トークンで訓練された2800億パラメータのTransformer言語モデル。
- IsoFLOP profiles
- 総訓練FLOP数を一定に保ちながらモデルパラメータ数を変化させ、損失が最小となるパラメータサイズを特定する手法。
- Compute-optimal frontier
- 利用可能な訓練FLOP数と、パラメータ数および訓練トークン量の最適な配分との関係を示す数学的曲線。
- Parametric loss function
- 言語モデルの損失を、削減不可能なベイズエントロピー、パラメータ容量不足、トークンサンプルの最適化誤差に統計的に分解した関数。
- Huber loss
- 小規模な計算スケールでの残差外れ値の影響を緩和しながら実証的なLM実行結果にフィッティングするためにアプローチ3で使用されたロバスト損失関数。
- MassiveText
- Webページ、書籍、ニュース、コード、Wikipediaを含む、GopherとChinchilla双方の訓練に使用されたマルチドメイン事前学習コーパス。
- FLOPs calculation
- 順伝播および逆伝播全体で約 、または層ごとの詳細な積み上げによって算出される積和演算予算。
よくある質問
なぜKaplanらはパラメータをトークンよりも速くスケールすべきだと結論付けたのですか？
Kaplanらは固定された学習率コサインスケジュール（例：130Bトークンまで減衰）を使用し、より少ないトークン数の評価ポイントとして未収束の訓練途中の値を利用しました。コサイン学習率スケジュールはサイクル長が総ステップ数を大幅に超えると性能が低下するため、それらの中間損失が不当に高くなり、より少ないトークンでより小さなモデルを訓練する有効性が過小評価されていました。
Chinchillaによる計算量最適スケーリングの経験則は何ですか？
モデルパラメータ数と訓練トークン数は、ほぼ等しい比率でスケールさせる必要があります。計算量が 増えるごとに、モデルサイズを 、訓練トークン数を 増やす必要があります。
計算量最適な175Bモデルを訓練するには何トークンが推奨されますか？
論文の予測によると、1750億パラメータのモデルが計算量的に最適であるためには約3.7兆〜4.3兆トークンと 〜 FLOPsが必要であり、GPT-3で通常使用された3000億トークンを大幅に上回ります。
GopherとChinchillaの間でどのようなアーキテクチャの変更がありましたか？
層数と隠れ層次元を280Bから70Bに削減したことに加え、ChinchillaではオプティマイザをAdamからAdamWに変更し、分散オプティマイザの状態においてfloat32のマスターウェイトを維持し、SentencePieceトークナイザーからNFKC正規化を削除しました。
このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。