Language Models are Few-Shot Learners

Tom B. Brown; Benjamin Mann; Nick Ryder; Melanie Subbiah; Jared Kaplan; Prafulla Dhariwal; Arvind Neelakantan; Pranav Shyam; Girish Sastry; Amanda Askell; Sandhini Agarwal; Ariel Herbert-Voss; Gretchen Krueger; Tom Henighan; Rewon Child; Aditya Ramesh; Daniel M. Ziegler; Jeffrey Wu; Clemens Winter; Christopher Hesse; Mark Chen; Eric Sigler; Mateusz Litwin; Scott Gray; Benjamin Chess; Jack Clark; Christopher Berner; Sam McCandlish; Alec Radford; Ilya Sutskever; Dario Amodei

शोध पत्र · arXiv 2005.14165

Language Models are Few-Shot Learners

Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss et al.

प्रकाशित 2020-05-28cs.CL arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 मानक NLP मॉडल हज़ारों लेबल किए गए उदाहरणों पर टास्क-विशिष्ट फाइन-ट्यूनिंग पर निर्भर करते हैं, जिससे ख़राब आउट-ऑफ़-डिस्ट्रिब्यूशन सामान्यीकरण का जोखिम रहता है।
🔧 GPT-3 (175B पैरामीटर्स तक) को 300B टोकन पर प्रशिक्षित किया गया और बिना किसी वेट अपडेट के इन-कॉन्टेक्स्ट प्रॉम्प्ट कंडीशनिंग का उपयोग करके इसका मूल्यांकन किया गया।
📈 फ़्यू-शॉट सेटिंग में, GPT-3 175B फाइन-ट्यून किए गए मॉडलों की बराबरी करता है या उनके करीब पहुँचता है, TriviaQA पर 71.2% और LAMBADA पर 86.4% सटीकता प्राप्त करता है।

सार

हालिया शोध ने टेक्स्ट के एक बड़े कॉर्पस पर प्री-ट्रेनिंग और उसके बाद किसी विशिष्ट कार्य पर फाइन-ट्यूनिंग करके कई NLP कार्यों और बेंचमार्क्स पर पर्याप्त सुधार प्रदर्शित किए हैं। हालाँकि यह संरचना आमतौर पर टास्क-अज्ञेयवादी (task-agnostic) होती है, फिर भी इस पद्धति के लिए हज़ारों या दसियों हज़ार उदाहरणों वाले टास्क-विशिष्ट फाइन-ट्यूनिंग डेटासेट्स की आवश्यकता होती है। इसके विपरीत, मनुष्य आमतौर पर केवल कुछ उदाहरणों या सरल निर्देशों से ही एक नया भाषाई कार्य कर सकते हैं - ऐसा कुछ जिसे करने में वर्तमान NLP प्रणालियाँ अभी भी काफी संघर्ष करती हैं। यहाँ हम दिखाते हैं कि भाषा मॉडलों को स्केल करना टास्क-अज्ञेयवादी, फ़्यू-शॉट प्रदर्शन में बहुत सुधार करता है, जो कभी-कभी पूर्व के स्टेट-ऑफ-द-आर्ट फाइन-ट्यूनिंग दृष्टिकोणों के साथ प्रतिस्पर्धात्मकता तक पहुँच जाता है। विशेष रूप से, हम GPT-3 को प्रशिक्षित करते हैं, जो 175 बिलियन पैरामीटर्स वाला एक ऑटोरेग्रेसिव भाषा मॉडल है—किसी भी पूर्व गैर-स्पार्स भाषा मॉडल से 10 गुना बड़ा—और फ़्यू-शॉट सेटिंग में इसके प्रदर्शन का परीक्षण करते हैं। सभी कार्यों के लिए, GPT-3 को बिना किसी ग्रेडिएंट अपडेट या फाइन-ट्यूनिंग के लागू किया जाता है, जहाँ कार्यों और फ़्यू-शॉट उदाहरणों को विशुद्ध रूप से मॉडल के साथ टेक्स्ट इंटरैक्शन के माध्यम से निर्दिष्ट किया जाता है। GPT-3 अनुवाद, प्रश्न-उत्तर और क्लोज़ (cloze) कार्यों के साथ-साथ कई ऐसे कार्यों पर मजबूत प्रदर्शन प्राप्त करता है जिनमें तत्काल तर्क या डोमेन अनुकूलन की आवश्यकता होती है, जैसे शब्दों को सुलझाना, वाक्य में किसी नए शब्द का उपयोग करना, या 3-अंकों का अंकगणित करना। साथ ही, हम कुछ ऐसे डेटासेट्स की भी पहचान करते हैं जहाँ GPT-3 का फ़्यू-शॉट लर्निंग अब भी संघर्ष करता है, साथ ही कुछ ऐसे डेटासेट्स जहाँ GPT-3 बड़े वेब कॉर्पोरा पर प्रशिक्षण से संबंधित पद्धतिगत समस्याओं का सामना करता है। अंत में, हम पाते हैं कि GPT-3 समाचार लेखों के ऐसे नमूने उत्पन्न कर सकता है जिन्हें मानव मूल्यांकनकर्ता मनुष्यों द्वारा लिखे गए लेखों से अलग पहचानने में कठिनाई महसूस करते हैं। हम इस निष्कर्ष के और सामान्य तौर पर GPT-3 के व्यापक सामाजिक प्रभावों पर चर्चा करते हैं।

मूल सार (अंग्रेज़ी)

Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few examples or from simple instructions - something which current NLP systems still largely struggle to do. Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches. Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic. At the same time, we also identify some datasets where GPT-3's few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora. Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.

पढ़ने की गाइड

समस्या और प्रेरणा

मानक प्री-ट्रेनिंग और फाइन-ट्यूनिंग पाइपलाइनों को बड़े टास्क-विशिष्ट लेबल वाले डेटासेट्स (आमतौर पर हज़ारों से सैकड़ों हज़ारों उदाहरण) की आवश्यकता होती है। यह आवश्यकता सामान्य प्रयोज्यता को सीमित करती है, भ्रामक सहसंबंधों (spurious correlations) के प्रति संवेदनशीलता बढ़ाती है, और मानव सीखने के तरीके से भिन्न है, जो केवल निर्देशों या न्यूनतम उदाहरणों का उपयोग करके नए कार्यों के अनुकूल हो जाता है। छोटे मॉडलों के साथ इन-कॉन्टेक्स्ट लर्निंग के पिछले प्रयास फाइन-ट्यूनिंग से काफी पीछे रह गए थे।

मुख्य विचार

In-Context Meta-Learning: मॉडल प्री-ट्रेनिंग के दौरान पैटर्न पहचान कौशल प्राप्त करता है और ग्रेडिएंट अपडेट के बिना टेस्ट-टाइम फॉरवर्ड पास के दौरान एक्टिवेशन स्पेस में टास्क अनुकूलन करता है।
कंडीशनिंग का स्पेक्ट्रम: कार्यों का परीक्षण ज़ीरो-शॉट (केवल निर्देश), वन-शॉट (निर्देश + एक उदाहरण), और फ़्यू-शॉट ( $K$ उदाहरण, आमतौर पर 2048-टोकन विंडो के भीतर 10 से 100) में किया जाता है।
पूर्वानुमानित स्केलिंग: वैलिडेशन लॉस की पावर-लॉ अनुभवजन्य स्केलिंग 8 मॉडल आकारों (125M से 175B पैरामीटर्स) में निरंतर डाउनस्ट्रीम क्षमता सुधारों में तब्दील होती है।

विधि

GPT-3, GPT-2 से मेल खाते ऑटोरेग्रेसिव ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करता है, जिसमें एकांतर डेंस और स्थानीय रूप से बैंडेड स्पार्स अटेंशन पैटर्न जोड़े गए हैं। मॉडलों को $n_{ctx} = 2048$ के प्रभावी संदर्भ आकार के साथ 300 बिलियन टोकन पर प्री-ट्रेन किया गया है।

मुख्य मूल्यांकन सूत्रीकरणों में शामिल हैं:

प्रति-टोकन समापन संभावना (Per-Token Completion Likelihood): बहुविकल्पीय डेटासेट्स के लिए, सामान्यीकृत टोकन संभावनाओं की तुलना करके उम्मीदवार समापन का मूल्यांकन किया जाता है।
बिना शर्त सामान्यीकरण (Unconditional Normalization): ARC, OpenBookQA, और RACE जैसे बेंचमार्क्स पर, मॉडल संभावना को एक बिना शर्त बेसलाइन के विरुद्ध सामान्यीकृत किया जाता है: $\frac{P ( completion ∣ context )}{P ( completion ∣ answer_context )}$ जहाँ $answer_context$ एक जेनेरिक प्रॉम्प्ट है जैसे "Answer: " या "A: "।
जनरेशन डिकोडिंग: फ्री-फॉर्म समापन कार्य 4 की बीम चौड़ाई और लंबाई पेनल्टी $α = 0.6$ के साथ बीम सर्च का उपयोग करते हैं।

परिणाम

Closed-Book QA: GPT-3 175B TriviaQA पर 71.2% फ़्यू-शॉट तक पहुँचता है (ओपन-डोमेन फाइन-ट्यून्ड RAG के 68.0% से अधिक), WebQuestions पर 41.5%, और Natural Questions पर 29.9%।
भाषा मॉडलिंग और क्लोज़: PTB (ज़ीरो-शॉट) पर 20.5 की पर्प्लेक्सिटी प्राप्त करता है। LAMBADA पर, कार्य को क्लोज़ टेस्ट के रूप में तैयार करने पर 86.4% फ़्यू-शॉट सटीकता मिलती है (पूर्व SOTA से 18% अधिक)।
अनुवाद: अंग्रेज़ी में अनुवाद 39.2 BLEU (Fr $\to$ En), 40.6 BLEU (De $\to$ En), और 39.5 BLEU (Ro $\to$ En) तक पहुँचता है, जो पिछले अनसुपरवाइज्ड NMT बेसलाइनों से बेहतर प्रदर्शन करता है।
तर्क और संश्लेषण: फ़्यू-शॉट सेटिंग्स में 2-अंकों के जोड़ को 100% और 3-अंकों के जोड़ को 80.4% पर हल करता है। सिंथेटिक समाचार लेख उत्पन्न करता है जिन्हें मानव मूल्यांकनकर्ता वास्तविक लेखों से केवल 52% सटीकता (यादृच्छिक संभावना के करीब) के साथ अलग कर पाते हैं।

सीमाएँ और खुले प्रश्न

कमज़ोर कार्य: अनुक्रमों में तुलना करने वाले कार्यों, विशेष रूप से NLI (जैसे, ANLI, RTE) और Word-in-Context (WiC पर 49.4%, यादृच्छिक संभावना के करीब) में संघर्ष करता है।
संरचनात्मक सीमाएँ: विशुद्ध रूप से ऑटोरेग्रेसिव प्रशिक्षण द्विदिश (bidirectional) कंडीशनिंग को रोकता है, जिससे उन कार्यों को नुकसान होता है जिनमें लुकबैक या पूरे अनुक्रम को दोबारा पढ़ने की आवश्यकता होती है।
डेटा संदूषण (Data Contamination): बड़े पैमाने पर वेब स्क्रैपिंग के कारण ट्रेन-टेस्ट ओवरलैप होता है, जिसके लिए व्यापक पोस्ट-हॉक $n$ -ग्राम फ़िल्टरिंग ऑडिट (जैसे, Winograd और PIQA पर) की आवश्यकता होती है।
सामाजिक प्रभाव: इंटरनेट-पैमाने के प्रशिक्षण से महत्वपूर्ण लैंगिक, नस्लीय और धार्मिक पूर्वाग्रह समाहित हो जाते हैं, और उत्पन्न आउटपुट का उपयोग दुर्भावनापूर्ण टेक्स्ट जनरेशन के लिए किया जा सकता है।

मुख्य शब्द

in-context learning: आंतरिक-लूप अनुकूलन प्रक्रिया जहाँ एक प्री-ट्रेन्ड मॉडल बिना किसी ग्रेडिएंट अपडेट के विशुद्ध रूप से प्राकृतिक भाषा निर्देशों और प्रॉम्प्ट उदाहरणों से टेस्ट समय पर किसी कार्य का अनुमान लगाता है और उसे निष्पादित करता है।
few-shot: एक मूल्यांकन सेटिंग जहाँ मॉडल को कार्य विवरण के साथ उतने प्रदर्शन उदाहरण (आमतौर पर 10 से 100) मिलते हैं जितने उसकी संदर्भ विंडो के भीतर समा सकें।
one-shot: एक मूल्यांकन स्थिति जिसमें प्राकृतिक भाषा कार्य विवरण के साथ केवल एक ही कार्य प्रदर्शन उदाहरण की अनुमति होती है।
zero-shot: एक मूल्यांकन सेटअप जहाँ मॉडल को बिना किसी प्रदर्शन उदाहरण के केवल कार्य का वर्णन करने वाला एक प्राकृतिक भाषा निर्देश प्राप्त होता है।
closed-book question answering: परीक्षण समय पर बाहरी दस्तावेज़ों या पुनर्प्राप्ति (retrieval) प्रणालियों तक पहुँच के बिना केवल मॉडल मापदंडों में संग्रहीत ज्ञान पर भरोसा करके तथ्यात्मक प्रश्नों का उत्तर देना।
data contamination: व्यापक इंटरनेट-स्तरीय प्री-ट्रेनिंग कॉर्पस के भीतर डाउनस्ट्रीम मूल्यांकन बेंचमार्क, टेस्ट सेट या देव सेट का आकस्मिक समावेश।
sparse attention: एक वास्तुशिल्प संशोधन जो लंबे संदर्भों में कम्प्यूटेशनल दक्षता को संतुलित करने के लिए सघन ध्यान परतों (dense attention layers) को स्थानीय रूप से बैंडेड विरल ध्यान पैटर्न (sparse attention patterns) के साथ एकांतर करता है।
unconditional normalization: बहुविकल्पीय कार्यों पर लंबाई और आवृत्ति पूर्वाग्रहों को समाप्त करने के लिए केवल एक सामान्य संकेत दिए जाने पर पूर्णता की संभावना द्वारा सशर्त पूर्णता संभावना को विभाजित करना।

प्रश्न

पूर्ण GPT-3 मॉडल में कितने पैरामीटर्स हैं और इसे कैसे प्रशिक्षित किया गया था?

GPT-3 में 96 परतों, 96 अटेंशन हेड्स और 12,288 के हिडन डाइमेंशन में 175 बिलियन ट्रेनेबल पैरामीटर्स हैं। इसे माइक्रोसॉफ्ट V100 GPU क्लस्टर पर Adam ऑप्टिमाइज़र का उपयोग करके फ़िल्टर किए गए Common Crawl, WebText2, Books1, Books2, और Wikipedia पर 300 बिलियन टोकन के लिए प्रशिक्षित किया गया था।

क्या GPT-3 डाउनस्ट्रीम बेंचमार्क के लिए फाइन-ट्यूनिंग का उपयोग करता है?

नहीं, शोधपत्र के सभी प्राथमिक परिणामों का मूल्यांकन बिना ग्रेडिएंट अपडेट या फाइन-ट्यूनिंग के किया जाता है, जो पूरी तरह से ज़ीरो-शॉट, वन-शॉट या फ़्यू-शॉट संदर्भ प्रॉम्प्ट पर निर्भर करते हैं।

इंसान GPT-3 175B द्वारा तैयार किए गए समाचार लेखों को कितनी आसानी से पहचान सकते हैं?

मानव मूल्यांकनकर्ताओं ने GPT-3 द्वारा उत्पन्न छोटे (~~200 शब्द) और लंबे (~~500 शब्द) समाचार लेखों को मनुष्यों द्वारा लिखे गए लेखों से अलग पहचानने में लगभग 52% सटीकता हासिल की, जो कि यादृच्छिक संभावना (50%) से बमुश्किल ऊपर है।

GPT-3 किन कार्यों में सबसे अधिक संघर्ष करता है?

GPT-3 प्राकृतिक भाषा अनुमान (NLI) कार्यों (जैसे, ANLI और RTE), द्विदिशीय तुलनाओं जैसे Word-in-Context (WiC, 49.4% स्कोर), और कुछ रीडिंग कॉम्प्रिहेंशन कार्यों जैसे QuAC और RACE पर ख़राब प्रदर्शन करता है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें