Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Patrick Lewis; Ethan Perez; Aleksandra Piktus; Fabio Petroni; Vladimir Karpukhin; Naman Goyal; Heinrich Küttler; Mike Lewis; Wen-tau Yih; Tim Rocktäschel; Sebastian Riedel; Douwe Kiela

शोध पत्र · arXiv 2005.11401

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela

प्रकाशित 2020-05-22cs.CLcs.LG arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 विशुद्ध रूप से पैरामीट्रिक लैंग्वेज मॉडल्स तथ्यात्मक ज्ञान तक पहुँचने, उसे संशोधित करने और प्रमाणित करने में संघर्ष करते हैं, जिससे नॉलेज-इंटेंसिव कार्यों में हैल्यूसिनेशन होते हैं।
🔧 RAG को प्रस्तुत करता है, जो Dense Passage Retriever (विकिपीडिया पर नॉन-पैरामीट्रिक मेमोरी) को BART जनरेटर (पैरामीट्रिक मेमोरी) के साथ जोड़ता है, जिसे लेटेंट डॉक्युमेंट्स पर मार्जिनलाइज़ेशन के माध्यम से एंड-टू-एंड फाइन-ट्यून किया जाता है।
📈 ओपन-डोमेन QA पर अत्याधुनिक परिणाम स्थापित करता है (Natural Questions पर 44.5 EM) और केवल-पैरामीट्रिक बेसलाइन्स की तुलना में अधिक तथ्यात्मक, विशिष्ट और विविध टेक्स्ट जनरेट करता है।

सार

बड़े प्री-ट्रेन्ड लैंग्वेज मॉडल्स अपने पैरामीटर्स में तथ्यात्मक ज्ञान संचित करने और डाउनस्ट्रीम NLP टास्क पर फाइन-ट्यून किए जाने पर अत्याधुनिक परिणाम प्राप्त करने के लिए जाने जाते हैं। हालाँकि, ज्ञान तक पहुँचने और उसमें सटीक बदलाव करने की उनकी क्षमता अभी भी सीमित है, जिससे नॉलेज-इंटेंसिव टास्क पर उनका प्रदर्शन टास्क-विशिष्ट आर्किटेक्चर की तुलना में पिछड़ जाता है। इसके अतिरिक्त, अपने निर्णयों के स्रोत (provenance) प्रदान करना और अपने सांसारिक ज्ञान को अपडेट करना अभी भी अनसुलझी शोध समस्याएँ हैं। स्पष्ट नॉन-पैरामीट्रिक मेमोरी के लिए डिफ़रेंशियल एक्सेस मैकेनिज़्म वाले प्री-ट्रेन्ड मॉडल्स इस समस्या को दूर कर सकते हैं, लेकिन अब तक केवल एक्सट्रैक्टिव डाउनस्ट्रीम टास्क के लिए ही उनका अध्ययन किया गया है। हम Retrieval-Augmented Generation (RAG) के लिए एक सामान्य-उद्देश्यीय फाइन-ट्यूनिंग विधि का अन्वेषण करते हैं—ऐसे मॉडल्स जो भाषा निर्माण के लिए प्री-ट्रेन्ड पैरामीट्रिक और नॉन-पैरामीट्रिक मेमोरी को जोड़ते हैं। हम ऐसे RAG मॉडल्स प्रस्तुत करते हैं जहाँ पैरामीट्रिक मेमोरी एक प्री-ट्रेन्ड seq2seq मॉडल है और नॉन-पैरामीट्रिक मेमोरी विकिपीडिया का एक डेंस वेक्टर इंडेक्स है, जिसे प्री-ट्रेन्ड न्यूरल रीट्रिवर के माध्यम से एक्सेस किया जाता है। हम दो RAG फ़ॉर्मूलेशन की तुलना करते हैं: एक जो पूरी जनरेटेड सीक्वेंस में उन्हीं रीट्रिव किए गए अंशों पर निर्भर करता है, और दूसरा जो प्रति टोकन अलग-अलग अंशों का उपयोग कर सकता है। हम विस्तृत नॉलेज-इंटेंसिव NLP टास्क पर अपने मॉडल्स को फाइन-ट्यून और मूल्यांकित करते हैं और तीन ओपन डोमेन QA टास्क पर स्टेट-ऑफ-द-आर्ट परिणाम स्थापित करते हैं, जो पैरामीट्रिक seq2seq मॉडल्स और टास्क-विशिष्ट रीट्रिव-एंड-एक्सट्रैक्ट आर्किटेक्चर से बेहतर प्रदर्शन करते हैं। भाषा निर्माण कार्यों के लिए, हम पाते हैं कि RAG मॉडल्स केवल पैरामीट्रिक seq2seq बेसलाइन की तुलना में अधिक विशिष्ट, विविध और तथ्यात्मक भाषा उत्पन्न करते हैं।

मूल सार (अंग्रेज़ी)

Large pre-trained language models have been shown to store factual knowledge in their parameters, and achieve state-of-the-art results when fine-tuned on downstream NLP tasks. However, their ability to access and precisely manipulate knowledge is still limited, and hence on knowledge-intensive tasks, their performance lags behind task-specific architectures. Additionally, providing provenance for their decisions and updating their world knowledge remain open research problems. Pre-trained models with a differentiable access mechanism to explicit non-parametric memory can overcome this issue, but have so far been only investigated for extractive downstream tasks. We explore a general-purpose fine-tuning recipe for retrieval-augmented generation (RAG) -- models which combine pre-trained parametric and non-parametric memory for language generation. We introduce RAG models where the parametric memory is a pre-trained seq2seq model and the non-parametric memory is a dense vector index of Wikipedia, accessed with a pre-trained neural retriever. We compare two RAG formulations, one which conditions on the same retrieved passages across the whole generated sequence, the other can use different passages per token. We fine-tune and evaluate our models on a wide range of knowledge-intensive NLP tasks and set the state-of-the-art on three open domain QA tasks, outperforming parametric seq2seq models and task-specific retrieve-and-extract architectures. For language generation tasks, we find that RAG models generate more specific, diverse and factual language than a state-of-the-art parametric-only seq2seq baseline.

पढ़ने की गाइड

समस्या और प्रेरणा

प्री-ट्रेन्ड लैंग्वेज मॉडल्स अपने पैरामीटर्स (पैरामीट्रिक मेमोरी) के भीतर पर्याप्त तथ्यात्मक ज्ञान संचित करते हैं। हालाँकि, इनकी महत्वपूर्ण कमियाँ हैं: वे बिना पुनः प्रशिक्षण के अपने ज्ञान का विस्तार या उसे अपडेट करने में कठिनाई महसूस करते हैं, अपने आउटपुट के लिए आसानी से स्रोत या व्याख्यात्मकता प्रदान नहीं कर सकते हैं, और इनमें हैल्यूसिनेशन की संभावना अधिक होती है।

हालाँकि REALM और ORQA जैसे हाइब्रिड पैरामीट्रिक/नॉन-पैरामीट्रिक मॉडल्स ने डिफ़रेंशिएबल रीट्रिवल को मास्क्ड लैंग्वेज मॉडलिंग के साथ जोड़ा, लेकिन वे केवल एक्सट्रैक्टिव प्रश्न उत्तर तक ही सीमित थे। BART और T5 जैसे मानक अनुक्रम-से-अनुक्रम (seq2seq) आर्किटेक्चर काफी हद तक क्लोज्ड-बुक ही रहे। यह शोध Retrieval-Augmented Generation (RAG) का प्रस्ताव देकर इस अंतर को पाटता है, जो ओपन-डोमेन जेनरेशन और वर्गीकरण दोनों के लिए एक प्री-ट्रेन्ड डेंस न्यूरल रीट्रिवर को ऑटोरेग्रेसिव seq2seq जनरेटर के साथ जोड़ने वाला एक सामान्य फाइन-ट्यूनिंग फ्रेमवर्क है।

मुख्य विचार

हाइब्रिड पैरामीट्रिक और नॉन-पैरामीट्रिक मेमोरी: नॉन-पैरामीट्रिक मेमोरी में 21M 100-शब्दों वाले विकिपीडिया अंशों का एक डेंस वेक्टर इंडेक्स शामिल है जिसे Maximum Inner Product Search (MIPS) के माध्यम से एक्सेस किया जाता है। पैरामीट्रिक मेमोरी एक प्री-ट्रेन्ड BART जनरेटर है।
एंड-टू-एंड फाइन-ट्यूनिंग: रीट्रिव किए गए अंशों को लेटेंट वेरिएबल मानकर और स्पष्ट रीट्रिवल पर्यवेक्षण के बिना टार्गेट टोकन के नेगेटिव मार्जिनल लॉग-लाइकलहुड को कम करके क्वेरी एनकोडर और जनरेटर को संयुक्त रूप से प्रशिक्षित किया जाता है।
दो कंडीशनिंग फ़ॉर्मूलेशन:
- RAG-Sequence: पूरी जनरेट की गई सीक्वेंस में उसी रीट्रिव किए गए दस्तावेज़ पर निर्भर करता है।
- RAG-Token: प्रत्येक जनरेट किए गए टोकन को विभिन्न रीट्रिव किए गए अंशों पर ध्यान देने और मार्जिनलाइज़ करने की अनुमति देता है।
हॉट-स्वैपेबल सांसारिक ज्ञान: मॉडल भार (weights) को संशोधित किए बिना सांसारिक ज्ञान को अपडेट करने के लिए इनफ़रेंस के समय बाहरी इंडेक्स को बदला जा सकता है (उदाहरण के लिए, 2016 के विकिपीडिया इंडेक्स को 2018 के इंडेक्स से बदलना)।

विधि

एक इनपुट सीक्वेंस $x$ दिए जाने पर, रीट्रिवर $p_{η} (z ∣ x)$ दस्तावेज़ों $z$ पर एक वितरण उत्पन्न करता है, और जनरेटर $p_{θ} (y_{i} ∣ x, z, y_{1 : i - 1})$ $x$ और $z$ दोनों पर कंडीशन होकर टार्गेट टोकन जनरेट करता है।

रीट्रिवर Dense Passage Retriever (DPR) का उपयोग करता है: $p_{η} (z ∣ x) \propto exp (d (z)^{⊤} q (x))$ जहाँ $d (z) = BERT_{d} (z)$ और $q (x) = BERT_{q} (x)$ हैं। शीर्ष- $k$ उम्मीदवारों को FAISS MIPS का उपयोग करके रीट्रिव किया जाता है। दस्तावेज़ इंडेक्स और दस्तावेज़ एनकोडर $BERT_{d}$ को स्थिर रखा जाता है, जबकि $BERT_{q}$ और BART जनरेटर पैरामीटर्स $θ$ को फाइन-ट्यून किया जाता है।

RAG-Sequence

मॉडल रीट्रिव किए गए दस्तावेज़ को पूरी सीक्वेंस $y$ में एक एकल लेटेंट वेरिएबल के रूप में मानता है: $p_{RAG-Sequence} (y ∣ x) \approx z \in top- k (p (\cdot ∣ x)) \sum p_{η} (z ∣ x) i \prod N p_{θ} (y_{i} ∣ x, z, y_{1 : i - 1})$ डिकोडिंग का मूल्यांकन Thorough Decoding (प्रति दस्तावेज़ बीम सर्च चलाना और सभी दस्तावेज़ों में उम्मीदवार हाइपोथीसिस के लिए फॉरवर्ड पास की गणना करना) या Fast Decoding (लापता बीम संभावनाओं को 0 के रूप में अनुमानित करना) का उपयोग करके किया जा सकता है।

RAG-Token

मॉडल प्रत्येक टोकन चरण पर दस्तावेज़ों पर मार्जिनलाइज़ करता है, जिससे स्रोतों में टोकन-स्तरीय सामग्री मिश्रण सक्षम होता है: $p_{RAG-Token} (y ∣ x) \approx i \prod N z \in top- k (p (\cdot ∣ x)) \sum p_{η} (z ∣ x) p_{θ} (y_{i} ∣ x, z, y_{1 : i - 1})$ यह एक मानक ऑटोरेग्रेसिव ट्रांज़िशन प्रायिकता उत्पन्न करता है जो सीधे बीम सर्च में प्लग हो जाती है।

परिणाम

ओपन-डोमेन QA: RAG ने सटीक मिलान (EM) का उपयोग करके ओपन बेंचमार्क पर नए स्टेट-ऑफ-द-आर्ट परिणाम स्थापित किए:
- Natural Questions: 44.5 (RAG-Seq) बनाम 41.5 (DPR) और 36.6 (T5-11B+SSM)।
- TriviaQA (मानक ओपन स्प्लिट): 56.8 (RAG-Seq); TQA-Wiki टेस्ट स्प्लिट पर: 68.0 (RAG-Seq) बनाम 60.5 (T5-11B+SSM)।
- WebQuestions: 45.5 (RAG-Token) बनाम 41.1 (DPR)।
- CuratedTrec: 52.2 (RAG-Seq) बनाम 50.6 (DPR)।
- उल्लेखनीय रूप से, Natural Questions पर, RAG ने 11.8% EM हासिल किया जब सही उत्तर रीट्रिव किए गए संदर्भ में पूरी तरह से अनुपस्थित था (जहाँ एक्सट्रैक्टिव मॉडल 0% स्कोर करते हैं)।
एब्स्ट्रैक्टिव जेनरेशन: Open MS-MARCO पर, RAG-Sequence 40.8 Rouge-L और 44.2 Bleu-1 प्राप्त करता है, जो BART (38.2 Rouge-L, 41.6 Bleu-1) से बेहतर प्रदर्शन करता है।
Jeopardy प्रश्न निर्माण: मानव मूल्यांकनकर्ताओं ने 42.7% मामलों में RAG-Token को BART की तुलना में अधिक तथ्यात्मक माना, जबकि केवल 7.1% मामलों में BART को बेहतर माना गया। मूल्यांकनकर्ताओं ने RAG को अधिक विशिष्ट भी पाया (37.4% बनाम 16.8%)।
तथ्य सत्यापन: FEVER 3-way पर, RAG 72.5% लेबल सटीकता तक पहुँचता है (गोल्ड एविडेंस सुपरविज़न का उपयोग करने वाले पाइपलाइन सिस्टम के 4.3% के भीतर); 2-way पर, RAG 89.5% सटीकता प्राप्त करता है।
हॉट-स्वैपिंग के माध्यम से ज्ञान अपडेट: 2016 और 2018 के बीच 82-नेताओं के टेम्पोरल परीक्षण का उपयोग करते हुए, RAG ने 2016 के इंडेक्स का उपयोग करके 2016 के नेताओं के लिए 70% सटीकता और 2018 के इंडेक्स के साथ 2018 के नेताओं के लिए 68% सटीकता हासिल की, जो बेमेल होने पर काफी गिर गई (12% और 4%)।

सीमाएँ और खुले प्रश्न

रीट्रिवल कोलैप्स: ऐसे कार्यों के लिए जिनमें कमज़ोर स्पष्ट तथ्यात्मक कंडीशनिंग की आवश्यकता होती है (जैसे कि ओपन-एंडेड कहानी निर्माण), रीट्रिवर स्थिर, अपरिवर्तनीय दस्तावेज़ों को रीट्रिव करने तक सीमित हो सकता है जबकि जनरेटर उन्हें अनदेखा करना सीख जाता है।
स्थिर दस्तावेज़ इंडेक्सिंग: 21M वेक्टर्स को लगातार फिर से इंडेक्स करने की उच्च कम्प्यूटेशनल लागत के कारण टास्क फाइन-ट्यूनिंग के दौरान दस्तावेज़ एनकोडर को स्थिर रखा जाता है, जिससे रीट्रिवर अनुकूलन सीमित हो जाता है।
स्रोत प्रमाणिकता और पूर्वाग्रह: नॉन-पैरामीट्रिक मेमोरी अंतर्निहित ज्ञान संग्रह (विकिपीडिया) में मौजूद गलत सूचनाओं और पूर्वाग्रहों के प्रति संवेदनशील बनी रहती है।
संयुक्त प्री-ट्रेनिंग: डाउनस्ट्रीम टास्क फाइन-ट्यूनिंग से पहले रीट्रिवर और जनरेटर घटकों को अलग-अलग प्री-ट्रेन किया गया था, जिससे शुरुआत से ही संयुक्त प्री-ट्रेनिंग करना एक खुला शोध विषय बना हुआ है।

मुख्य शब्द

Retrieval-Augmented Generation (RAG): एक हाइब्रिड फ्रेमवर्क जो रीट्रिव किए गए नॉन-पैरामीट्रिक टेक्स्ट अंशों पर आधारित जेनरेशन के लिए प्री-ट्रेन्ड न्यूरल रीट्रिवर को प्री-ट्रेन्ड सीक्वेंस-टू-सीक्वेंस मॉडल के साथ जोड़ता है।
Parametric Memory: प्री-ट्रेन्ड seq2seq जनरेटर (BART) के न्यूरल नेटवर्क भार (weights) के भीतर संचित अंतर्निहित तथ्यात्मक ज्ञान।
Non-Parametric Memory: रनटाइम पर एक्सेस किया जाने वाला एक स्पष्ट, बाहरी दस्तावेज़ संग्रह (उदा., 21 मिलियन विकिपीडिया अंशों का एक FAISS डेंस वेक्टर इंडेक्स)।
RAG-Sequence: एक RAG फ़ॉर्मूलेशन जो रीट्रिव किए गए अंश को पूरी जनरेट की गई सीक्वेंस में स्थिर रखे गए एक लेटेंट वेरिएबल के रूप में मानता है।
RAG-Token: एक RAG फ़ॉर्मूलेशन जो प्रत्येक जनरेटेड टोकन पर शीर्ष-k रीट्रिव किए गए दस्तावेज़ों पर व्यक्तिगत रूप से मार्जिनलाइज़ करता है, जिससे कई स्रोतों में संश्लेषण की अनुमति मिलती है।
Dense Passage Retriever (DPR): एक डुअल-BERT एनकोडर आर्किटेक्चर जो डेंस एम्बेडिंग स्पेस में मैक्सिमम इनर प्रोडक्ट सर्च के माध्यम से किसी क्वेरी के लिए दस्तावेज़ की प्रासंगिकता का मूल्यांकन करता है।
Maximum Inner Product Search (MIPS): सब-लीनियर समय में क्वेरी वेक्टर के सबसे करीब शीर्ष-k दस्तावेज़ वेक्टर्स को तेज़ी से रीट्रिव करने के लिए उपयोग किया जाने वाला गणितीय सर्च फ़ॉर्मूलेशन।
Index Hot-Swapping: मॉडल के पैरामीटर्स को दोबारा प्रशिक्षित या फाइन-ट्यून किए बिना नॉन-पैरामीट्रिक दस्तावेज़ इंडेक्स को अद्यतन जानकारी से बदलने की प्रक्रिया।

प्रश्न

RAG-Sequence और RAG-Token में क्या अंतर है?

RAG-Sequence पूरी सीक्वेंस में प्रत्येक टोकन को कंडीशन करने के लिए ठीक उसी रीट्रिव किए गए दस्तावेज़ का उपयोग करता है, जबकि RAG-Token प्रत्येक चरण पर शीर्ष दस्तावेज़ों पर मार्जिनलाइज़ करता है, जिससे अलग-अलग टोकन को विभिन्न दस्तावेज़ों द्वारा समर्थित होने की अनुमति मिलती है।

क्या फाइन-ट्यूनिंग के दौरान दस्तावेज़ अभ्यावेदन (representations) अपडेट होते हैं?

नहीं। प्रशिक्षण के दौरान 21 मिलियन दस्तावेज़ों को फिर से इंडेक्स करने की उच्च कम्प्यूटेशनल लागत से बचने के लिए दस्तावेज़ एनकोडर और FAISS इंडेक्स स्थिर रहते हैं; केवल क्वेरी एनकोडर और BART जनरेटर पैरामीटर्स को अपडेट किया जाता है।

क्या RAG उन प्रश्नों के उत्तर दे सकता है जब उत्तर रीट्रिव किए गए दस्तावेज़ों में मौजूद नहीं है?

हाँ। क्योंकि जेनरेशन अप्रतिबंधित है और BART की पैरामीट्रिक मेमोरी द्वारा समर्थित है, RAG Natural Questions के 11.8% मामलों का सही उत्तर देता है जहाँ किसी भी शीर्ष रीट्रिव किए गए अंश में लक्षित स्ट्रिंग नहीं होती है, जबकि एक्सट्रैक्टिव मॉडल 0% प्राप्त करते हैं।

दुनिया के तथ्य बदलने पर RAG अपने ज्ञान को कैसे अपडेट करता है?

चूँकि इसकी बाहरी मेमोरी मॉड्यूलर है, इसलिए मॉडल पैरामीटर्स को फिर से प्रशिक्षित किए बिना दस्तावेज़ इंडेक्स को एक नए टेक्स्ट डंप के साथ 'हॉट-स्वैप' किया जा सकता है (उदाहरण के लिए, 2016 के विकिपीडिया इंडेक्स को 2018 के इंडेक्स से बदलना)।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें