Finetuned Language Models Are Zero-Shot Learners

Jason Wei; Maarten Bosma; Vincent Y. Zhao; Kelvin Guu; Adams Wei Yu; Brian Lester; Nan Du; Andrew M. Dai; Quoc V. Le

शोध पत्र · arXiv 2109.01652

Finetuned Language Models Are Zero-Shot Learners

Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, Quoc V. Le

प्रकाशित 2021-09-03cs.CL arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 अप्रशिक्षित बड़े भाषा मॉडल्स ज़ीरो-शॉट कार्यों में संघर्ष करते हैं क्योंकि रॉ प्रॉम्प्ट्स प्रीट्रेनिंग टोकन वितरण से भटक जाते हैं।
🔧 Instruction tuning: प्राकृतिक भाषा टेम्पलेट्स के माध्यम से मौखिक रूप से व्यक्त 62 NLP डेटासेट्स पर 137B डिकोडर LM को फाइन-ट्यून करना, जिसमें मूल्यांकन क्लस्टर्स को अलग रखा जाता है।
📈 ज़ीरो-शॉट FLAN मूल्यांकित 25 में से 20 डेटासेट्स पर ज़ीरो-शॉट 175B GPT-3 से आगे निकल जाता है और ANLI तथा BoolQ जैसे कार्यों पर फ़्यू-शॉट GPT-3 को मात देता है।

सार

यह शोधपत्र भाषा मॉडल्स (language models) की ज़ीरो-शॉट सीखने की क्षमताओं को बेहतर बनाने की एक सरल विधि की पड़ताल करता है। हम दर्शाते हैं कि निर्देश ट्यूनिंग (instruction tuning) -- यानी निर्देशों के माध्यम से वर्णित कार्यों के संग्रह पर भाषा मॉडल्स को फाइन-ट्यून करना -- अनदेखे कार्यों पर ज़ीरो-शॉट प्रदर्शन को काफी बढ़ा देता है। हम 137B पैरामीटर वाले एक प्रीट्रेन्ड भाषा मॉडल को लेते हैं और प्राकृतिक भाषा निर्देश टेम्पलेट्स के माध्यम से तैयार किए गए 60 से अधिक NLP कार्यों पर इसे निर्देश-ट्यून करते हैं। हम इस निर्देश-ट्यून किए गए मॉडल, जिसे हम FLAN कहते हैं, का मूल्यांकन अनदेखे कार्य प्रकारों पर करते हैं। FLAN अपने बिना संशोधित समकक्ष के प्रदर्शन में काफी सुधार करता है और हमारे द्वारा मूल्यांकित 25 में से 20 कार्यों पर ज़ीरो-शॉट 175B GPT-3 को पीछे छोड़ देता है। FLAN वास्तव में ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA और StoryCloze पर फ़्यू-शॉट GPT-3 से भी बड़े अंतर से बेहतर प्रदर्शन करता है। एब्लेशन अध्ययनों से पता चलता है कि फाइन-ट्यूनिंग डेटासेट्स की संख्या, मॉडल का आकार (scale) और प्राकृतिक भाषा निर्देश, instruction tuning की सफलता की मुख्य कुंजियाँ हैं।

मूल सार (अंग्रेज़ी)

This paper explores a simple method for improving the zero-shot learning abilities of language models. We show that instruction tuning -- finetuning language models on a collection of tasks described via instructions -- substantially improves zero-shot performance on unseen tasks. We take a 137B parameter pretrained language model and instruction-tune it on over 60 NLP tasks verbalized via natural language instruction templates. We evaluate this instruction-tuned model, which we call FLAN, on unseen task types. FLAN substantially improves the performance of its unmodified counterpart and surpasses zero-shot 175B GPT-3 on 20 of 25 tasks that we evaluate. FLAN even outperforms few-shot GPT-3 by a large margin on ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA, and StoryCloze. Ablation studies reveal that number of finetuning datasets, model scale, and natural language instructions are key to the success of instruction tuning.

पढ़ने की गाइड

समस्या और प्रेरणा

बड़े भाषा मॉडल्स (जैसे GPT-3 175B) इन-कॉन्टेक्स्ट उदाहरणों का लाभ उठाकर फ़्यू-शॉट लर्निंग में उत्कृष्ट प्रदर्शन करते हैं। हालाँकि, रीडिंग कॉम्प्रिहेंशन, नेचुरल लैंग्वेज इनफेरेंस (NLI) और प्रश्न उत्तर (QA) जैसे जटिल NLP बेंचमार्क्स पर उनकी ज़ीरो-शॉट क्षमताएँ काफी कमज़ोर बनी हुई हैं। अनट्यून्ड मॉडल्स प्रीट्रेनिंग डेटा के निरंतरता (continuation) के रूप में स्वरूपित प्रॉम्प्ट्स पर निर्भर करते हैं, जो आमतौर पर स्पष्ट निर्देशों या प्रश्नों के रूप में व्यक्त किए जाने वाले कार्यों के लिए एक अप्राकृतिक और भंगुर प्रारूप है।

लेखक यह पड़ताल करते हैं कि क्या विविध NLP कार्यों के एक व्यापक संग्रह पर सुपरवाइज़्ड फाइन-ट्यूनिंग—जिन्हें स्पष्ट रूप से प्राकृतिक भाषा निर्देशों के रूप में व्यक्त किया गया है—भाषा मॉडल्स को इन्फेरेंस के समय पूरी तरह से अनदेखे कार्य प्रकारों पर ज़ीरो-शॉट सामान्यीकरण (generalization) करने में सक्षम बनाती है।

मुख्य विचार

Instruction Tuning: प्राकृतिक भाषा प्रॉम्प्ट टेम्पलेट्स का उपयोग करके मौजूदा NLP डेटासेट्स को निर्देश-प्रतिक्रिया (instruction-response) प्रारूपों में परिवर्तित करना, जिससे मल्टीटास्क सुपरविज़न को प्रॉम्प्टिंग के साथ जोड़ा जा सके।
Task Cluster Holdout: डेटासेट्स को विषयगत क्लस्टर्स में समूहित करना (जैसे, NLI, Closed-Book QA, Translation, Sentiment)। किसी लक्षित क्लस्टर $D$ पर ज़ीरो-शॉट सामान्यीकरण का परीक्षण करते समय, वास्तविक ज़ीरो-शॉट क्रॉस-टास्क मूल्यांकन की गारंटी के लिए $D$ (और निकट से जुड़े क्लस्टर्स) से संबंधित सभी डेटासेट्स को प्रशिक्षण से बाहर रखा जाता है।
Classification with Options: वर्गीकरण कार्यों के लिए, सीधे प्रॉम्प्ट में मान्य उम्मीदवार लेबलों को सूचीबद्ध करते हुए एक OPTIONS: प्रत्यय जोड़ना, जो जनरेटिव मॉडल के आउटपुट वितरण को केवल रैंक-वर्गीकरण लॉजिट तुलनाओं तक सीमित किए बिना निर्देशित करता है।

विधि

आधार मॉडल LaMDA-PT है, जो 137 बिलियन पैरामीटर्स वाला एक डेंस, लेफ्ट-टू-राइट, डिकोडर-ओनली ट्रांसफार्मर है, जिसे वेब दस्तावेज़ों, कोड, विकिपीडिया और संवाद डेटा (लगभग 10% गैर-अंग्रेजी) पर 2.49T BPE टोकन्स के साथ प्रीट्रेन किया गया है।

डेटा एकत्रीकरण (Data Aggregation): TensorFlow Datasets के 62 डेटासेट्स को 12 क्लस्टर्स में समूहित किया गया है। प्रत्येक डेटासेट के लिए, 10 अद्वितीय प्राकृतिक भाषा निर्देश टेम्पलेट्स तैयार किए गए हैं (जिनमें 3 'उल्टे' टेम्पलेट्स तक शामिल हैं, उदा., सेंटिमेंट दिए जाने पर टेक्स्ट जनरेट करना)।
प्रशिक्षण सेटअप (Training Setup): प्रति डेटासेट प्रशिक्षण उदाहरणों की सीमा 30k तय की गई है। बड़े डेटासेट्स के प्रभुत्व को रोकने के लिए 3,000 की अधिकतम मिक्सिंग दर के साथ उदाहरण-आनुपातिक मिक्सिंग योजना का उपयोग करके बैच बनाए जाते हैं। Adafactor ऑप्टिमाइज़र (लर्निंग रेट $3 \times 1 0^{- 5}$ ), अनुक्रम लंबाई 1024 (इनपुट) और 256 (टारगेट), तथा अनुक्रम पैकिंग के साथ 8,192 टोकन्स के बैच आकार पर प्रशिक्षण 30k ग्रेडिएंट स्टेप्स के लिए चलता है।
मूल्यांकन प्रोटोकॉल (Evaluation Protocol): $c$ हेल्ड-आउट क्लस्टर्स पर मूल्यांकन करने के लिए, $c$ अलग-अलग FLAN मॉडल्स को प्रशिक्षित किया जाता है। प्रदर्शन को सभी निर्देश टेम्पलेट्स के औसत के रूप में और वैलिडेशन सेट पर चुने गए सर्वश्रेष्ठ टेम्पलेट के साथ रिपोर्ट किया जाता है।
फ़्यू-शॉट उदाहरणों के साथ इन्फेरेंस: जब $k$ उदाहरण $(x_{i}, y_{i})$ उपलब्ध होते हैं, तो इनपुट को इस प्रकार स्वरूपित किया जाता है: $instruct (x_{1}) \oplus y_{1} \oplus instruct (x_{2}) \oplus y_{2} \oplus \dots \oplus instruct (x_{k}) \oplus y_{k} \oplus instruct (x)$ जहाँ $\oplus$ एक सेपरेटर टोकन के साथ संयोजन (concatenation) को दर्शाता है, जिसे 16 उदाहरणों और 960 टोकन्स पर सीमित किया गया है।

परिणाम

GPT-3 के विरुद्ध ज़ीरो-शॉट तुलना: सर्वश्रेष्ठ dev टेम्पलेट का उपयोग करते हुए, ज़ीरो-शॉट FLAN 137B मूल्यांकित 25 बेंचमार्क्स में से 20 पर ज़ीरो-शॉट GPT-3 175B से बेहतर प्रदर्शन करता है और ANLI R1–R3, RTE, BoolQ, OpenbookQA और StoryCloze सहित 10 डेटासेट्स पर फ़्यू-शॉट GPT-3 को पीछे छोड़ देता है।
कार्य प्रकार: प्राकृतिक रूप से निर्देशों के रूप में तैयार किए गए कार्यों (उदा., NLI, रीडिंग कॉम्प्रिहेंशन, क्लोज्ड-बुक QA, अनुवाद) पर भारी बढ़त मिलती है। RTE पर, FLAN 84.1% (सर्वश्रेष्ठ dev टेम्पलेट) प्राप्त करता है, जबकि ज़ीरो-शॉट GPT-3 का 63.5% और फ़्यू-शॉट GPT-3 का 72.9% है। BoolQ पर, FLAN 82.9% तक पहुँचता है, जबकि GPT-3 का ज़ीरो-शॉट 60.5% और फ़्यू-शॉट 77.5% है।
स्केल निर्भरता (Scale Dependency): 422M, 2B, 8B, 68B और 137B पैरामीटर्स के एब्लेशन से पता चलता है कि निर्देश ट्यूनिंग $\leq 8 B$ पैरामीटर्स वाले मॉडल्स के लिए अनदेखे कार्यों पर ज़ीरो-शॉट सामान्यीकरण को नुकसान पहुँचाती है। सकारात्मक ट्रांसफर केवल बड़े पैमाने पर ( $\sim 68 B$ और $137 B$ ) उभरता है।
निर्देशों का महत्व: बिना किसी निर्देश टेम्पलेट के फाइन-ट्यूनिंग (केवल इनपुट-आउटपुट: 37.3% 4-क्लस्टर औसत) या केवल डेटासेट नामों के साथ (46.6%), प्राकृतिक निर्देशों (55.2%) की तुलना में काफी खराब ज़ीरो-शॉट प्रदर्शन देती है।
प्रॉम्प्ट ट्यूनिंग अनुकूलता: FLAN पर लागू की गई पैरामीटर-कुशल प्रॉम्प्ट ट्यूनिंग, अनट्यून्ड LaMDA-PT बेस मॉडल की तुलना में उच्च SuperGLUE सटीकता प्रदान करती है, विशेष रूप से 32-उदाहरण वाले कम-संसाधन व्यवस्थाओं में।

सीमाएँ और खुले प्रश्न

वाक्य-पूर्णता कार्य (Sentence-Completion Tasks): निर्देश ट्यूनिंग भाषा मॉडलिंग-शैली के कार्यों पर न्यूनतम लाभ प्रदान करती है (और कभी-कभी नुकसान पहुँचाती है) जहाँ निर्देश निरर्थक होते हैं, जैसे Winogrande या सामान्य ज्ञान तर्क में वाक्य पूर्णता।
निर्देश जटिलता: यह शोधपत्र केवल छोटे, एकल-वाक्य निर्देशों की पड़ताल करता है, न कि लंबे, विस्तृत प्रॉम्प्ट दिशानिर्देशों की जो आमतौर पर मानव मूल्यांकनकर्ताओं को दिए जाते हैं।
कॉन्टेक्स्ट विंडो और कंप्यूट: FLAN की 1024-टोकन कॉन्टेक्स्ट लंबाई ने सारांशीकरण कार्यों के कठोर मूल्यांकन को रोक दिया। इसके अलावा, 137B पैरामीटर वाले डेंस मॉडल को चलाने और सर्व करने के लिए उच्च कंप्यूटिंग संसाधनों की आवश्यकता होती है।

मुख्य शब्द

instruction tuning: अनदेखे कार्यों के सामान्यीकरण में सुधार के लिए प्राकृतिक भाषा निर्देश टेम्पलेट्स का उपयोग करके स्वरूपित डेटासेट्स के विविध संग्रह पर एक प्रीट्रेन्ड भाषा मॉडल को फाइन-ट्यून करना।
FLAN: Finetuned Language Net; LaMDA-PT डिकोडर-ओनली आर्किटेक्चर पर आधारित 137B पैरामीटर वाला निर्देश-ट्यून्ड मॉडल।
task clusters: कार्य प्रकार (उदा., NLI, Closed-Book QA) के आधार पर NLP डेटासेट्स का समूहीकरण, जिसका उपयोग ज़ीरो-शॉट परीक्षण के लिए सख्त 'लीव-वन-क्लस्टर-आउट' मूल्यांकन विभाजन लागू करने के लिए किया जाता है।
LaMDA-PT: एक 137B पैरामीटर डेंस, लेफ्ट-टू-राइट, डिकोडर-ओनली ट्रांसफार्मर जिसे वेब दस्तावेज़ों, कोड, विकिपीडिया और संवाद डेटा के 2.49T टोकन्स पर प्रीट्रेन किया गया है।
classification with options: एक आउटपुट फ़ॉर्मेटिंग रणनीति जहाँ मुक्त-पाठ निर्माण को निर्देशित करने के लिए वर्गीकरण प्रॉम्प्ट्स के अंत में संभावित उम्मीदवार वर्गों के साथ 'OPTIONS:' टोकन जोड़ा जाता है।
examples-proportional mixing: मल्टीटास्क प्रशिक्षण के दौरान एक डेटासेट भार रणनीति जहाँ डेटासेट सैंपलिंग आकार के आनुपातिक होती है, जो एक निर्दिष्ट अधिकतम मिक्सिंग कैप (3,000 उदाहरण) तक सीमित होती है।
data contamination analysis: एक पोस्ट-हॉक मूल्यांकन जो बेंचमार्क टेस्ट सेट्स के साथ प्रीट्रेनिंग कॉर्पस n-gram ओवरलैप को मापता है ताकि यह सत्यापित किया जा सके कि प्रदर्शन में सुधार केवल याद रखने (memorization) के कारण नहीं हैं।

प्रश्न

Instruction tuning मानक मल्टीटास्क फाइन-ट्यूनिंग से किस प्रकार भिन्न है?

पारंपरिक मल्टीटास्क फाइन-ट्यूनिंग का उद्देश्य विशिष्ट प्रशिक्षण कार्यों में प्रदर्शन को अनुकूलित करना या नए डोमेन के अनुकूल होना होता है। Instruction tuning मॉडल को कार्य विवरण समझने के लिए प्रशिक्षित करने हेतु प्राकृतिक भाषा निर्देशों का उपयोग करती है, जिसका लक्ष्य प्रशिक्षण के दौरान पूरी तरह से बाहर रखे गए अनदेखे कार्य प्रकारों पर ज़ीरो-शॉट सामान्यीकरण करना होता है।

छोटे भाषा मॉडल्स पर instruction tuning प्रदर्शन को क्यों नुकसान पहुँचाती है?

8B या उससे कम पैरामीटर्स वाले मॉडल्स के लिए, लगभग 40 अलग-अलग निर्देश-ट्यूनिंग कार्यों को सीखना मॉडल की संपूर्ण पैरामीटर क्षमता को समाप्त करता प्रतीत होता है, जिससे अनदेखे कार्यों का सामान्यीकरण बिगड़ जाता है। केवल $\sim 68 B$ और 137B पैरामीटर्स पर ही क्षमता कार्य निष्पादन और सामान्य निर्देश-पालन दोनों को सीखने की अनुमति देती है।

किन कार्यों पर FLAN बिना ट्यून किए गए बेस मॉडल से बेहतर प्रदर्शन करने में विफल रहता है?

निर्देश ट्यूनिंग सीधे भाषा मॉडलिंग पूर्णता के रूप में तैयार किए गए कार्यों पर बहुत कम लाभ दिखाती है, जैसे कि कोरेफरेंस रिज़ॉल्यूशन (उदा., Winogrande) और वाक्य निरंतरता सामान्य ज्ञान बेंचमार्क, जहाँ निर्देशात्मक प्रॉम्प्ट्स काफी हद तक बेस प्रीट्रेनिंग उद्देश्य के साथ निरर्थक (redundant) होते हैं।

प्रीट्रेनिंग कॉर्पस में डेटा संदूषण (data contamination) को कैसे संभाला गया?

लेखकों ने परीक्षण उदाहरणों और 2.49T-टोकन प्रीट्रेनिंग डेटासेट के बीच 13-gram ओवरलैप की खोज की, जिससे बिना किसी टकराव के स्वच्छ सबसेट्स बनाए गए। स्वच्छ सबसेट्स पर प्रदर्शन ने प्रदर्शन में गिरावट के साथ कोई संबंध नहीं दिखाया, जिससे संकेत मिलता है कि याद रखने (memorization) ने FLAN के ज़ीरो-शॉट लाभों को संचालित नहीं किया।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें