Training Compute-Optimal Large Language Models

Jordan Hoffmann; Sebastian Borgeaud; Arthur Mensch; Elena Buchatskaya; Trevor Cai; Eliza Rutherford; Diego de Las Casas; Lisa Anne Hendricks; Johannes Welbl; Aidan Clark; Tom Hennigan; Eric Noland; Katie Millican; George van den Driessche; Bogdan Damoc; Aurelia Guy; Simon Osindero; Karen Simonyan; Erich Elsen; Jack W. Rae; Oriol Vinyals; Laurent Sifre

कंप्यूट-इष्टतम बड़े भाषा मॉडलों का प्रशिक्षण (Training Compute-Optimal Large Language Models)

Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland et al.

प्रकाशित 2022-03-29cs.CLcs.LG arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 एक निश्चित कंप्यूट बजट के तहत मॉडल पैरामीटर्स और ट्रेनिंग टोकन्स के बीच इष्टतम संतुलन का निर्धारण।
🔧 न्यूनतम-हानि एनवेलप्स, IsoFLOP स्लाइस और पैरामीट्रिक लॉस मॉडलिंग का उपयोग करके >400 ट्रांसफॉर्मर रन में स्केलिंग नियमों को अनुभवजन्य रूप से फिट किया गया।
📈 पैरामीटर्स और टोकन्स को समान रूप से स्केल होना चाहिए ( $a \approx 0.5$ , $b \approx 0.5$ )। 1.4T टोकन्स पर प्रशिक्षित 70B Chinchilla मॉडल Gopher के कंप्यूट बजट से मेल खाता है और MMLU पर 67.6% प्राप्त करता है।

सार

हम एक दिए गए कंप्यूट बजट के तहत ट्रांसफॉर्मर भाषा मॉडल के प्रशिक्षण के लिए इष्टतम मॉडल आकार और टोकन की संख्या की जांच करते हैं। हम पाते हैं कि वर्तमान बड़े भाषा मॉडल काफी हद तक अंडरट्रेन हैं, जो कि प्रशिक्षण डेटा की मात्रा को स्थिर रखते हुए भाषा मॉडलों को स्केल करने पर हालिया फोकस का परिणाम है। 5 से 500 बिलियन टोकन पर 70 मिलियन से 16 बिलियन से अधिक पैरामीटर्स वाले 400 से अधिक भाषा मॉडलों को प्रशिक्षित करके, हम पाते हैं कि कंप्यूट-इष्टतम प्रशिक्षण के लिए, मॉडल आकार और प्रशिक्षण टोकन की संख्या को समान रूप से बढ़ाया जाना चाहिए: मॉडल आकार को दोगुना करने पर प्रशिक्षण टोकन की संख्या को भी दोगुना किया जाना चाहिए। हम एक अनुमानित कंप्यूट-इष्टतम मॉडल, Chinchilla, को प्रशिक्षित करके इस परिकल्पना का परीक्षण करते हैं, जो Gopher के समान कंप्यूट बजट का उपयोग करता है लेकिन 70B पैरामीटर और 4 $\times$ अधिक डेटा के साथ। Chinchilla डाउनस्ट्रीम मूल्यांकन कार्यों की एक विस्तृत श्रृंखला में Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), और Megatron-Turing NLG (530B) को समान रूप से और काफी बड़े अंतर से पीछे छोड़ देता है। इसका यह भी अर्थ है कि Chinchilla फाइन-ट्यूनिंग और इन्फरेंस के लिए काफी कम कंप्यूट का उपयोग करता है, जिससे डाउनस्ट्रीम उपयोग में काफी आसानी होती है। एक मुख्य आकर्षण के रूप में, Chinchilla ने MMLU बेंचमार्क पर 67.5% की अत्याधुनिक औसत सटीकता प्राप्त की, जो कि Gopher की तुलना में 7% से अधिक का सुधार है।

मूल सार (अंग्रेज़ी)

We investigate the optimal model size and number of tokens for training a transformer language model under a given compute budget. We find that current large language models are significantly undertrained, a consequence of the recent focus on scaling language models whilst keeping the amount of training data constant. By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled. We test this hypothesis by training a predicted compute-optimal model, Chinchilla, that uses the same compute budget as Gopher but with 70B parameters and 4 $\times$ more more data. Chinchilla uniformly and significantly outperforms Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), and Megatron-Turing NLG (530B) on a large range of downstream evaluation tasks. This also means that Chinchilla uses substantially less compute for fine-tuning and inference, greatly facilitating downstream usage. As a highlight, Chinchilla reaches a state-of-the-art average accuracy of 67.5% on the MMLU benchmark, greater than a 7% improvement over Gopher.

पढ़ने की गाइड

समस्या और प्रेरणा

पूर्व कार्य (विशेष रूप से Kaplan et al., 2020) ने सुझाव दिया था कि जब कंप्यूट बढ़ता है, तो मॉडल पैरामीटर्स को आक्रामक रूप से स्केल किया जाना चाहिए ( $N \propto C^{0.73}$ ) जबकि टोकन संख्या बहुत धीमी गति से बढ़ती है ( $D \propto C^{0.27}$ )। नतीजतन, GPT-3 (175B), Jurassic-1 (178B), Gopher (280B), और MT-NLG (530B) जैसे बड़े मॉडलों को लगातार लगभग 300 बिलियन टोकन पर प्रशिक्षित किया गया था। हालाँकि, इसने बड़े मॉडलों को उनके कम्प्यूटेशनल निवेश की तुलना में काफी हद तक अंडरट्रेन छोड़ दिया। यह शोध कार्य इस ट्रेड-ऑफ पर फिर से विचार करता है: एक निश्चित कंप्यूट बजट $C$ के लिए, टेस्ट लॉस को न्यूनतम करने के लिए पैरामीटर संख्या $N$ और टोकन संख्या $D$ को कैसे आवंटित किया जाना चाहिए?

मुख्य विचार

समान स्केलिंग (Equal scaling): मॉडल पैरामीटर्स के प्रत्येक दो गुने होने पर, ट्रेनिंग टोकन भी दोगुने होने चाहिए ( $N_{o pt} \propto C^{0.5}$ , $D_{o pt} \propto C^{0.5}$ )।
कोसाइन शेड्यूल अलाइनमेंट: लर्निंग रेट शेड्यूल को वास्तविक ट्रेनिंग होराइजन से मेल खाना चाहिए। एक निश्चित लंबी अवधि (उदा., 130B टोकन) में क्षय (decayed) किए गए रन से मध्यवर्ती बिंदुओं का उपयोग करने से छोटी टोकन संख्याओं के लिए लॉस का अधिक अनुमान लगता है और अनुभवजन्य स्केलिंग अनुमान विकृत हो जाते हैं।
डाउनस्ट्रीम दक्षता: काफी अधिक टोकन पर एक छोटे मॉडल को प्रशिक्षित करने से प्रीट्रेनिंग कंप्यूट समता पर समान या बेहतर सटीकता प्राप्त होती है, जबकि मेमोरी फुटप्रिंट, फाइन-ट्यूनिंग लागत और इन्फरेंस लेटेंसी में भारी कमी आती है।

विधि (प्रमुख समीकरणों के साथ)

लेखक तीन पूरक रणनीतियों का उपयोग करके 400 से अधिक मॉडलों (5B से 500B टोकन पर प्रशिक्षित 70M से 16B पैरामीटर) का मूल्यांकन करते हैं:

ट्रेनिंग कर्व्स पर न्यूनतम (Minimum over training curves): निश्चित मॉडल आर्किटेक्चर के लिए 4 अवधियों में होराइजन को बदलें। प्रति FLOP न्यूनतम लॉस का एनवेलप निकालें और पावर लॉ फिट करें: $N_{o pt} \propto C^{a}, D_{o pt} \propto C^{b}$ जिससे $a = 0.50$ , $b = 0.50$ प्राप्त होता है।
IsoFLOP प्रोफाइल्स: होराइजन के साथ संरेखित कोसाइन क्षय के साथ 9 अलग-अलग बजटों ( $6 \times 1 0^{18}$ से $3 \times 1 0^{21}$ ) में कुल FLOP संख्या को स्थिर रखें। लॉस मिनिमा खोजने के लिए पैरामीटर काउंट पर परवलय (parabolas) फिट करें, जिससे $a = 0.49$ , $b = 0.51$ प्राप्त होता है।
पैरामीट्रिक लॉस फिटिंग: रिस्क अपघटन का उपयोग करके स्मूद किए गए लॉस को मॉडल करें: $\hat{L} (N, D) ≜ E + \frac{A}{N ^{α}} + \frac{B}{D ^{β}}$ जहाँ $E$ प्राकृतिक टेक्स्ट एंट्रॉपी का प्रतिनिधित्व करता है, $A / N^{α}$ रिप्रेजेंटेशन सबऑप्टिमैलिटी का प्रतिनिधित्व करता है, और $B / D^{β}$ अर्ली स्टॉपिंग/सीमित डेटा सबऑप्टिमैलिटी को कैप्चर करता है। लॉग अवशेषों पर Huber loss को न्यूनतम करने पर $E = 1.69$ , $A = 406.4$ , $B = 410.7$ , $α = 0.34$ , $β = 0.28$ प्राप्त होता है। प्रतिबंध $FLOPs (N, D) \approx 6 N D$ के तहत: $a = \frac{β}{α + β} = 0.46, b = \frac{α}{α + β} = 0.54$

परिणाम (सबसे महत्वपूर्ण आंकड़ों के साथ)

Chinchilla 70B: 70B पैरामीटर्स और 1.4 ट्रिलियन टोकन का उपयोग करके Gopher ( $5.76 \times 1 0^{23}$ FLOPs, या सटीक गणना के तहत $6.3 \times 1 0^{23}$ ) के समान FLOP बजट के साथ प्रशिक्षित।
MMLU बेंचमार्क: Chinchilla 67.6% औसत 5-शॉट सटीकता तक पहुँचता है, जो Gopher (60.0%), GPT-3 (43.9%) को पीछे छोड़ता है, और जून 2023 के मानव विशेषज्ञ पूर्वानुमान (63.4%) को पार करता है। यह 4 अलग-अलग MMLU कार्यों पर $> 90%$ सटीकता प्राप्त करता है।
डाउनस्ट्रीम बेंचमार्क: BIG-bench (65.1% बनाम 54.4%), LAMBADA (77.4% बनाम 74.5%), और क्लोज्ड-बुक Natural Questions (31.5% 5-शॉट बनाम 24.5%) पर Gopher से बेहतर प्रदर्शन करता है।
पूर्वाग्रह और विषाक्तता (Bias and Toxicity): अनप्रॉम्प्टेड विषाक्तता Gopher और Chinchilla के बीच तुलनीय रहती है (औसत 0.064 बनाम 0.066), जबकि समग्र रूप से Winogender सटीकता 71.4% से सुधरकर 78.3% हो जाती है।

सीमाएं और खुले प्रश्न

प्रशिक्षण लागत के कारण समता पर केवल दो बड़े पैमाने के फ्रंटियर बिंदुओं को सीधे सत्यापित किया गया था (Gopher 280B बनाम Chinchilla 70B)।
विश्लेषण वेब डेटासेट पर सिंगल-एपॉक प्रशिक्षण को मानकर चलता है; कई एपॉक्स में डेटा को दोहराने पर व्यवहार अप्रयुक्त छोड़ दिया गया था।
उच्च कंप्यूट बजट पर $lo g (N_{o pt})$ में मामूली नकारात्मक वक्रता (अवतलता) का अनुभवजन्य प्रमाण है, जो सुझाव देता है कि पावर लॉ अभी भी इष्टतम मॉडल आकार का थोड़ा अधिक अनुमान लगा सकते हैं।

मुख्य शब्द

Chinchilla: Gopher के कंप्यूट बजट का उपयोग करके 1.4 ट्रिलियन टोकन पर प्रशिक्षित एक 70-बिलियन पैरामीटर ऑटोरिग्रेसिव भाषा मॉडल।
Gopher: 300 बिलियन टोकन पर प्रशिक्षित एक 280-बिलियन पैरामीटर ट्रांसफॉर्मर भाषा मॉडल जो कंप्यूट-समतुल्य बेसलाइन के रूप में कार्य करता है।
IsoFLOP profiles: एक कार्यप्रणाली जहाँ लॉस-न्यूनतम पैरामीटर आकार का पता लगाने के लिए कुल प्रशिक्षण FLOPs को स्थिर रखते हुए मॉडल पैरामीटर गणना को बदला जाता है।
Compute-optimal frontier: उपलब्ध प्रशिक्षण FLOPs को पैरामीटर गणना और प्रशिक्षण टोकन वॉल्यूम के इष्टतम आवंटन से संबंधित करने वाला गणितीय वक्र।
Parametric loss function: LM लॉस का इर्रिड्यूसिबल बेयस एंट्रॉपी, पैरामीटर क्षमता घाटे और टोकन नमूना अनुकूलन त्रुटि में सांख्यिकीय अपघटन।
Huber loss: छोटे कंप्यूट पैमानों पर अवशिष्ट आउटलायर्स के प्रभाव को कम करते हुए अनुभवजन्य LM रनों को फिट करने के लिए एप्रोच 3 में उपयोग किया जाने वाला एक मजबूत लॉस फ़ंक्शन।
MassiveText: Gopher और Chinchilla दोनों को प्रशिक्षित करने के लिए उपयोग किया जाने वाला मल्टी-डोमेन प्रीट्रेनिंग कॉर्पस जिसमें वेब पेज, किताबें, समाचार, कोड और विकिपीडिया शामिल हैं।
FLOPs calculation: मल्टीप्लाई-एक्युमुलेट ऑपरेशन बजट, जिसकी गणना फॉरवर्ड और बैकवर्ड पास में लगभग $6 N D$ के रूप में या लेयर-दर-लेयर अकाउंटिंग के माध्यम से की जाती है।

प्रश्न

Kaplan et al. ने यह निष्कर्ष क्यों निकाला कि पैरामीटर्स को टोकन की तुलना में तेज़ी से स्केल करना चाहिए?

Kaplan et al. ने एक निश्चित लर्निंग रेट कोसाइन शेड्यूल (उदा. 130B टोकन तक क्षयित) का उपयोग किया और छोटे टोकन बिंदुओं के लिए मध्यवर्ती गैर-कन्वर्ज्ड प्रशिक्षण मूल्यांकनों का उपयोग किया। चूंकि यदि चक्र की लंबाई कुल चरणों से काफी अधिक हो जाती है तो कोसाइन लर्निंग रेट शेड्यूल खराब हो जाता है, इसलिए वे मध्यवर्ती लॉस कृत्रिम रूप से उच्च थे, जिससे कम टोकन पर छोटे मॉडलों को प्रशिक्षित करने की प्रभावशीलता का कम आंकलन हुआ।

Chinchilla के अनुसार कंप्यूट-इष्टतम स्केलिंग के लिए सामान्य नियम क्या है?

मॉडल पैरामीटर्स की संख्या और प्रशिक्षण टोकन की संख्या दोनों को लगभग समान अनुपात में बढ़ाया जाना चाहिए: कंप्यूट में प्रत्येक $2 \times$ की वृद्धि के लिए, मॉडल का आकार $\approx 2^{0.5} \approx 1.41 \times$ बढ़ना चाहिए और प्रशिक्षण टोकन $\approx 2^{0.5} \approx 1.41 \times$ बढ़ना चाहिए।

एक कंप्यूट-इष्टतम 175B मॉडल को प्रशिक्षित करने के लिए कितने टोकन की सिफारिश की जाती है?

पेपर के पूर्वानुमानों के अनुसार, 175-बिलियन पैरामीटर मॉडल को कंप्यूट-इष्टतम होने के लिए लगभग 3.7 से 4.3 ट्रिलियन टोकन और $3.85 \times 1 0^{24}$ से $4.54 \times 1 0^{24}$ FLOPs की आवश्यकता होती है, जो GPT-3 के लिए आमतौर पर उपयोग किए जाने वाले 300 बिलियन टोकन से कहीं अधिक है।

Gopher और Chinchilla के बीच क्या आर्किटेक्चरल परिवर्तन किए गए थे?

लेयर काउंट और हिडन डायमेंशन को 280B से 70B तक कम करने के अलावा, Chinchilla ने Adam ऑप्टिमाइज़र को AdamW से बदल दिया, वितरित ऑप्टिमाइज़र स्थिति में float32 मास्टर वेट्स को बनाए रखा, और SentencePiece टोकनाइज़र से NFKC नॉर्मलाइजेशन को हटा दिया।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें