Scaling Laws for Neural Language Models

Jared Kaplan; Sam McCandlish; Tom Henighan; Tom B. Brown; Benjamin Chess; Rewon Child; Scott Gray; Alec Radford; Jeffrey Wu; Dario Amodei

शोध पत्र · arXiv 2001.08361

Scaling Laws for Neural Language Models

Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, Dario Amodei

प्रकाशित 2020-01-23cs.LGstat.ML arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 यह निर्धारित करना कि ऑटोरिग्रेसिव Transformer लैंग्वेज मॉडल का प्रदर्शन मॉडल पैरामीटर, डेटासेट आकार और कंप्यूट बजट के साथ कैसे स्केल होता है।
🔧 प्रयोगसिद्ध पावर लॉ और क्रिटिकल बैच साइज़ डायनेमिक्स को फिट करने के लिए पैरामीटर, डेटा और कंप्यूट के परिमाण के कई क्रमों पर केवल डिकोडर-आधारित Transformers को प्रशिक्षित करना।
📈 प्रदर्शन कंप्यूट के >7 परिमाण के क्रमों में सुचारू पावर लॉ का अनुसरण करता है; कंप्यूट-कुशल ट्रेनिंग कंप्यूट को मुख्य रूप से डेटासेट आकार ( $D \propto C_{min}^{0.27}$ ) के बजाय मॉडल आकार ( $N \propto C_{min}^{0.73}$ ) में आवंटित करती है।

सार

हम क्रॉस-एन्ट्रॉपी लॉस पर लैंग्वेज मॉडल के प्रदर्शन के लिए प्रयोगसिद्ध स्केलिंग नियमों (empirical scaling laws) का अध्ययन करते हैं। लॉस मॉडल के आकार, डेटासेट के आकार और ट्रेनिंग के लिए उपयोग किए गए कंप्यूट की मात्रा के साथ पावर-लॉ के रूप में स्केल होता है, जिसमें कुछ रुझान परिमाण के सात क्रमों (seven orders of magnitude) से अधिक तक फैले हुए हैं। अन्य आर्किटेक्चरल विवरण जैसे नेटवर्क की चौड़ाई या गहराई का एक विस्तृत श्रृंखला के भीतर न्यूनतम प्रभाव पड़ता है। सरल समीकरण मॉडल/डेटासेट आकार पर ओवरफिटिंग की निर्भरता और मॉडल आकार पर ट्रेनिंग की गति की निर्भरता को नियंत्रित करते हैं। ये संबंध हमें एक निश्चित कंप्यूट बजट के इष्टतम आवंटन को निर्धारित करने की अनुमति देते हैं। बड़े मॉडल काफी अधिक सैंपल-कुशल (sample-efficient) होते हैं, जिससे इष्टतम कंप्यूट-कुशल ट्रेनिंग में अपेक्षाकृत मामूली डेटा पर बहुत बड़े मॉडल को प्रशिक्षित करना और कन्वर्जेंस से काफी पहले रोकना शामिल होता है।

मूल सार (अंग्रेज़ी)

We study empirical scaling laws for language model performance on the cross-entropy loss. The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude. Other architectural details such as network width or depth have minimal effects within a wide range. Simple equations govern the dependence of overfitting on model/dataset size and the dependence of training speed on model size. These relationships allow us to determine the optimal allocation of a fixed compute budget. Larger models are significantly more sample-efficient, such that optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.

पढ़ने की गाइड

समस्या और प्रेरणा

Transformer आर्किटेक्चर के साथ लैंग्वेज मॉडलिंग में तेजी से प्रगति हुई है, लेकिन बड़े मॉडलों को प्रशिक्षित करने के लिए पर्याप्त कंप्यूट और डेटा की आवश्यकता होती है। इस कार्य से पहले, यह स्पष्ट नहीं था कि प्रदर्शन (क्रॉस-एन्ट्रॉपी लॉस द्वारा मापा गया) आर्किटेक्चरल आकार (गहराई बनाम चौड़ाई), पैरामीटर संख्या, डेटासेट आकार और ट्रेनिंग कंप्यूट पर कैसे निर्भर करता है। मात्रात्मक स्केलिंग संबंधों के बिना, शोधकर्ता आमतौर पर एक निश्चित कंप्यूट बजट को इष्टतम रूप से आवंटित करने के तरीके को समझने के बजाय छोटे मॉडलों को कन्वर्जेंस के करीब प्रशिक्षित करते थे।

मुख्य विचार

स्केल आर्किटेक्चर पर हावी है: व्यापक सीमाओं के भीतर, Transformer का प्रदर्शन नॉन-एंबेडिंग पैरामीटर संख्या $N$ , डेटासेट आकार $D$ , और कंप्यूट $C$ पर बहुत अधिक निर्भर करता है, जबकि गहराई, चौड़ाई और अटेंशन हेड्स की संख्या जैसे आर्किटेक्चरल हाइपरपैरामीटर का प्रभाव न्यूनतम होता है जब $N$ स्थिर हो।
सुचारू पावर-लॉ स्केलिंग: क्रॉस-एन्ट्रॉपी टेस्ट लॉस $N$ , $D$ , और कंप्यूट $C_{min}$ के साथ परिमाण के छह से आठ क्रमों में पावर लॉ के रूप में स्केल होता है।
ओवरफिटिंग से बचने के लिए सब-लीनियर डेटा वृद्धि: ओवरफिटिंग से बचने के लिए पैरामीटर के साथ डेटासेट आकार को सब-लीनियर रूप से स्केल करने की आवश्यकता होती है: $D \propto N^{0.74}$ ।
कंप्यूट दक्षता का अर्थ है बड़े मॉडल जिन्हें जल्दी रोका गया हो: एक निश्चित कंप्यूट बजट $C_{min}$ के तहत प्रदर्शन को अधिकतम करने के लिए, बहुत बड़े मॉडलों को प्रशिक्षित करना चाहिए और कन्वर्जेंस से काफी पहले रोक देना चाहिए, जिसमें कंप्यूट को $N \propto C_{min}^{0.73}$ , बैच साइज़ $B \propto C_{min}^{0.24}$ , और स्टेप्स $S_{min} \propto C_{min}^{0.03}$ के रूप में आवंटित किया जाना चाहिए।

विधि (प्रमुख समीकरणों के साथ)

लेखक WebText2 पर केवल डिकोडर-आधारित Transformer मॉडलों का मूल्यांकन करते हैं (BPE टोकनाइज़ेशन, संदर्भ $n_{ctx} = 1024$ का उपयोग करके)। मॉडल आकार $N$ में विशेष रूप से एंबेडिंग पैरामीटर शामिल नहीं हैं: $N \approx 12 n_{layer} d_{model}^{2}$ ।

प्रति फॉरवर्ड-बैकवर्ड पास नॉन-एंबेडिंग कंप्यूट का अनुमान $C \approx 6 NBS$ लगाया गया है।

व्यक्तिगत पावर लॉ:
- पैरामीटर-सीमित: $L (N) = (\frac{N _{c}}{N})^{α_{N}}, α_{N} \approx 0.076, N_{c} \approx 8.8 \times 1 0^{13}$
- डेटा-सीमित: $L (D) = (\frac{D _{c}}{D})^{α_{D}}, α_{D} \approx 0.095, D_{c} \approx 5.4 \times 1 0^{13}$
- कंप्यूट-सीमित (बैच साइज़ $B ≪ B_{crit}$ पर): $L (C_{min}) = (\frac{C _{c}^{min}}{C _{min}})^{α_{C}^{min}}, α_{C}^{min} \approx 0.050, C_{c}^{min} \approx 3.1 \times 1 0^{8} PF-days$
एक साथ पैरामीटर और डेटा स्केलिंग: $L (N, D) = [(\frac{N _{c}}{N})^{\frac{α _{N}}{α _{D}}} + \frac{D _{c}}{D}]^{α_{D}}$
ट्रेनिंग डायनेमिक्स और क्रिटिकल बैच साइज़: $B_{crit} (L) = \frac{B _{*}}{L ^{1/ α_{B}}}, B_{*} \approx 2 \times 1 0^{8} tokens, α_{B} \approx 0.21$ लर्निंग कर्व स्टेप्स $S_{min}$ को फिट करता है (स्टेप्स जब $B ≫ B_{crit}$ ): $L (N, S_{min}) = (\frac{N _{c}}{N})^{α_{N}} + (\frac{S _{c}}{S _{min}})^{α_{S}}, α_{S} \approx 0.76, S_{c} \approx 2.1 \times 1 0^{3}$
इष्टतम आवंटन: $α_{C}^{min} = \frac{1}{1/ α _{S} + 1/ α _{B} + 1/ α _{N}} \approx 0.052$ कुशल ट्रेनिंग कन्वर्ज्ड लॉस से लगभग $10%$ ऊपर के लॉस को लक्षित करती है ( $\frac{α _{N}}{α _{S}} \approx 0.10$ )।

परिणाम (सबसे महत्वपूर्ण संख्याओं के साथ)

रुझान कंप्यूट में 8 परिमाण के क्रम, पैरामीटर में 6, और डेटा में 2 क्रम तक सही रहते हैं।
$N$ को दोगुना करने से लॉस $2^{- α_{N}} \approx 0.95$ के कारक से कम हो जाता है।
ओवरफिटिंग से बचाव की सीमा: $D ≳ (5 \times 1 0^{3}) N^{0.74}$ । मॉडल आकार में $8 \times$ की वृद्धि के लिए केवल लगभग $5 \times$ डेटा वृद्धि की आवश्यकता होती है।
कंप्यूट बजट $C_{min}$ में $10 \times$ की वृद्धि के लिए, कंप्यूट-कुशल ट्रेनिंग मॉडल आकार $N$ को $\approx 5 \times$ ( $N \propto C_{min}^{0.73}$ ), बैच साइज़ को $\approx 1.7 \times$ ( $B \propto C_{min}^{0.24}$ ), और ट्रेनिंग स्टेप्स को केवल $\approx 1.07 \times$ ( $S_{min} \propto C_{min}^{0.03}$ ) बढ़ाती है।
कन्वर्जेंस के निकट ( $2%$ विचलन) ट्रेनिंग की तुलना में, कंप्यूट-इष्टतम ट्रेनिंग $65%$ कम कंप्यूट, $2.7 \times$ अधिक पैरामीटर, और $7.7 \times$ कम पैरामीटर अपडेट स्टेप्स का उपयोग करती है।
आउट-ऑफ-डिस्ट्रिब्यूशन कॉर्पोरा (Books Corpus, Common Crawl, English Wikipedia) पर ट्रांसफर लॉस मॉडल आकार के साथ सुचारू रूप से सुधरता है, जो WebText2 वैलिडेशन लॉस के सापेक्ष लगभग स्थिर पेनल्टी ऑफसेट वहन करता है।

सीमाएं और खुले प्रश्न

पेपर में सटीक घातांकों (exponents) की व्याख्या करने वाले एक कठोर सैद्धांतिक व्युत्पत्ति (उदा. सांख्यिकीय भौतिकी आधार) का अभाव है।
कंप्यूट स्केलिंग $C \approx 6 NBS$ अटेंशन-विशिष्ट लागतों को छोड़ देती है जो $n_{ctx}^{2}$ या संदर्भ-निर्भर कंप्यूट के समानुपाती होती हैं जब $n_{ctx} ≳ 12 d_{model}$ ।
अत्यधिक स्केल पर रेगुलराइजेशन, ड्रॉपआउट ट्यूनिंग, और लर्निंग रेट शेड्यूल जैसे हाइपरपैरामीटर को ज्यादातर स्थिर रखा गया था या प्रति डेटासेट आकार के अनुसार ट्यून नहीं किया गया था।
कंप्यूट-इष्टतम रुझानों को आगे बढ़ाने से एक विरोधाभास पैदा होता है जहाँ $L (C_{min})$ , $C^{*} \sim 1 0^{4} PF-days$ , $N^{*} \sim 1 0^{12}$ पैरामीटर, और $L^{*} \sim 1.7 nats/token$ पर $L (D)$ को काटता है, जो दर्शाता है कि प्रयोगसिद्ध रुझानों को अंततः प्राकृतिक भाषा एन्ट्रॉपी फ्लोर के पास टूट जाना चाहिए या समतल हो जाना चाहिए।

मुख्य शब्द

Non-embedding parameters ($N$): शब्दावली और स्थितीय एंबेडिंग मैट्रिक्स को छोड़कर Transformer पैरामीटर की गिनती, जिसकी गणना $N \approx 12 n_{layer} d_{model}^{2}$ के रूप में की जाती है।
PF-day: कंप्यूट की एक इकाई जो एक दिन के लिए चलने वाले $1 0^{15}$ फ्लोटिंग पॉइंट ऑपरेशंस प्रति सेकंड के अनुरूप है, जो $8.64 \times 1 0^{19}$ FLOPs के बराबर है।
Critical batch size ($B_{\text{crit}}$): ट्रेनिंग बैच साइज़ जो कंप्यूट दक्षता और सीरियल ट्रेनिंग समय के बीच एक इष्टतम संतुलन प्रदान करता है, जो लॉस के एक पावर के साथ व्युत्क्रमानुपाती रूप से स्केल होता है।
Compute-efficient frontier: मॉडल आकार, बैच साइज़ और अपडेट स्टेप्स का इष्टतम कॉन्फ़िगरेशन जो किसी दिए गए निश्चित कंप्यूट बजट के लिए वैलिडेशन लॉस को कम करता है।
Sample efficiency: वह दर जिस पर प्रति संसाधित डेटा टोकन पर एक मॉडल में सुधार होता है; बड़े मॉडल छोटे मॉडलों की तुलना में काफी कम टोकन के साथ एक लक्षित लॉस प्राप्त करते हैं।
WebText2: अक्टूबर 2018 तक के आउटबाउंड Reddit लिंक का विस्तारित टेक्स्ट प्री-ट्रेनिंग डेटासेट जिसका उपयोग प्राथमिक प्रयोगसिद्ध स्केलिंग कानूनों को फिट करने के लिए किया गया था।
Early stopping step ($S_{\text{stop}}$): वह स्टेप जिस पर ओवरफिटिंग के कारण सीमित डेटासेट पर टेस्ट लॉस में सुधार होना बंद हो जाता है, जिसके लिए लेखक एक प्रयोगसिद्ध निचली सीमा प्राप्त करते हैं।

प्रश्न

मॉडल आकार $N$ की गणना करते समय एंबेडिंग पैरामीटर को क्यों बाहर रखा जाए?

शब्दावली और स्थितीय एंबेडिंग को बाहर करने से विभिन्न गहराइयों और पैरामीटर संख्याओं में काफी स्पष्ट और अधिक सार्वभौमिक पावर-लॉ रुझान उत्पन्न होते हैं, जिससे पता चलता है कि मुख्य Transformer क्षमता में महत्वपूर्ण बदलाव किए बिना एंबेडिंग पैरामीटर को बदला जा सकता है।

क्या एक निश्चित कंप्यूट बजट को लंबे समय तक ट्रेनिंग देने या एक बड़ा मॉडल प्रशिक्षित करने पर खर्च किया जाना चाहिए?

इसे मुख्य रूप से एक बड़े मॉडल को प्रशिक्षित करने पर खर्च किया जाना चाहिए। इष्टतम रूप से कंप्यूट-कुशल ट्रेनिंग पैरामीटर को $N \propto C_{min}^{0.73}$ और स्टेप्स को $S_{min} \propto C_{min}^{0.03}$ के रूप में स्केल करती है, जिससे ट्रेनिंग कन्वर्जेंस से बहुत पहले रुक जाती है।

Transformer एस्पेक्ट रेशियो (गहराई बनाम चौड़ाई) लॉस को कैसे प्रभावित करता है?

जब नॉन-एंबेडिंग पैरामीटर $N$ को स्थिर रखा जाता है, तो प्रदर्शन गहराई से चौड़ाई के अनुपात या अटेंशन हेड्स की संख्या पर बहुत कमजोर रूप से निर्भर करता है; एस्पेक्ट रेशियो लॉस में मामूली बदलाव के साथ 40 के कारक द्वारा भिन्न हो सकता है।

क्रॉस-एन्ट्रॉपी लॉस आउट-ऑफ-डिस्ट्रिब्यूशन टेक्स्ट में कैसे स्थानांतरित होता है?

अन्य कॉर्पोरा में ट्रांसफर लॉस मॉडल के आकार के साथ लगभग उसी पावर-लॉ दर पर स्केल होता है जैसा कि ट्रेनिंग डिस्ट्रिब्यूशन पर होता है, जो मुख्य रूप से लगभग स्थिर योगात्मक पेनल्टी (additive penalty) द्वारा भिन्न होता है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें