Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Patrick Lewis; Ethan Perez; Aleksandra Piktus; Fabio Petroni; Vladimir Karpukhin; Naman Goyal; Heinrich Küttler; Mike Lewis; Wen-tau Yih; Tim Rocktäschel; Sebastian Riedel; Douwe Kiela

الأوراق البحثية · arXiv 2005.11401

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela

تاريخ النشر 2020-05-22cs.CLcs.LG arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تواجه النماذج اللغوية البارامترية البحتة صعوبة في الوصول إلى المعرفة الواقعية ومراجعتها وتأصيلها، مما يؤدي إلى الهلوسة في المهام كثيفة المعرفة.
🔧 يقدم البحث RAG، الذي يجمع بين Dense Passage Retriever (ذاكرة غير بارامترية عبر Wikipedia) ومُوَلِّد BART (ذاكرة بارامترية)، ويتم ضبطه دقيقًا من البداية إلى النهاية عبر التهميش (marginalization) على الوثائق الكامنة.
📈 يحقق نتائج هي الأحدث في مجاله في الإجابة عن الأسئلة ذات النطاق المفتوح (44.5 EM على Natural Questions) ويُولّد نصوصًا أكثر واقعية وتحديدًا وتنوعًا من النماذج البارامترية الأساسية البحتة.

الملخص

أثبتت النماذج اللغوية الكبيرة المدربة مسبقًا قدرتها على تخزين المعرفة الواقعية داخل معلماتها، وتحقيق أحدث النتائج عند ضبطها الدقيق لمهام معالجة اللغات الطبيعية اللاحقة. ومع ذلك، لا تزال قدرتها على الوصول إلى المعرفة ومعالجتها بدقة محدودة؛ وبالتالي، يتأخر أداؤها في المهام كثيفة المعرفة مقارنة بالبنى المخصصة لكل مهمة. بالإضافة إلى ذلك، لا يزال توفير مصدر لقراراتها وتحديث معرفتها بالعالم من المسائل البحثية المفتوحة. يمكن للنماذج المدربة مسبقًا والمزودة بآلية وصول قابلة للتفاضل إلى ذاكرة صريحة غير بارامترية التغلب على هذه المشكلة، لكنها لم تُدرس حتى الآن إلا لمهام الاستخراج اللاحقة. نحن نستكشف وصفة ضبط دقيق عامة الأغراض لـ Retrieval-Augmented Generation (RAG) — وهي نماذج تجمع بين الذاكرة البارامترية وغير البارامترية المدربة مسبقًا لتوليد اللغة. نقدم نماذج RAG حيث تكون الذاكرة البارامترية نموذج seq2seq مدرب مسبقًا، وتكون الذاكرة غير البارامترية فهرس متجهات كثيف لـ Wikipedia يتم الوصول إليه باستخدام مسترجع عصبي مدرب مسبقًا. نقارن بين صيغتين لـ RAG: الأولى تعتمد على نفس الفقرات المسترجعة عبر كامل التسلسل المُوَلَّد، والأخرى يمكنها استخدام فقرات مختلفة لكل رمز مميز (token). نقوم بضبط وتقييم نماذجنا على مجموعة واسعة من مهام معالجة اللغات الطبيعية كثيفة المعرفة ونحقق أحدث النتائج على ثلاث مهام للأسئلة والأجوبة ذات النطاق المفتوح، متفوقين على نماذج seq2seq البارامترية وبنى الاسترجاع والاستخراج المخصصة للمهام. وبالنسبة لمهام توليد اللغة، نجد أن نماذج RAG تُنتج لغة أكثر تحديدًا وتنوعًا ومطابقة للواقع مقارنة بنموذج أساسي رائد يقتصر على الذاكرة البارامترية فقط من نوع seq2seq.

الملخص الأصلي (بالإنجليزية)

Large pre-trained language models have been shown to store factual knowledge in their parameters, and achieve state-of-the-art results when fine-tuned on downstream NLP tasks. However, their ability to access and precisely manipulate knowledge is still limited, and hence on knowledge-intensive tasks, their performance lags behind task-specific architectures. Additionally, providing provenance for their decisions and updating their world knowledge remain open research problems. Pre-trained models with a differentiable access mechanism to explicit non-parametric memory can overcome this issue, but have so far been only investigated for extractive downstream tasks. We explore a general-purpose fine-tuning recipe for retrieval-augmented generation (RAG) -- models which combine pre-trained parametric and non-parametric memory for language generation. We introduce RAG models where the parametric memory is a pre-trained seq2seq model and the non-parametric memory is a dense vector index of Wikipedia, accessed with a pre-trained neural retriever. We compare two RAG formulations, one which conditions on the same retrieved passages across the whole generated sequence, the other can use different passages per token. We fine-tune and evaluate our models on a wide range of knowledge-intensive NLP tasks and set the state-of-the-art on three open domain QA tasks, outperforming parametric seq2seq models and task-specific retrieve-and-extract architectures. For language generation tasks, we find that RAG models generate more specific, diverse and factual language than a state-of-the-art parametric-only seq2seq baseline.

دليل القراءة

المشكلة والدوافع

تُخزن النماذج اللغوية المدربة مسبقًا معرفة واقعية جوهرية داخل معلماتها (الذاكرة البارامترية). ومع ذلك، فإنها تعاني من عيوب كبيرة: فهي تجد صعوبة في توسيع أو تحديث معرفتها دون إعادة التدريب، ولا يمكنها بسهولة تقديم إسناد أو قابلية للتفسير لمخرجاتها، وتكون عرضة للهلوسة.

ورغم أن النماذج الهجينة البارامترية/غير البارامترية مثل REALM وORQA جمعت بين الاسترجاع القابل للتفاضل ونمذجة اللغة المقنعة، إلا أنها كانت مقتصرة على الإجابة الاستخراجية عن الأسئلة. وظلت بنى تسلسل-إلى-تسلسل (seq2seq) القياسية مثل BART وT5 مغلقة إلى حد كبير (closed-book). يسد هذا العمل تلك الفجوة باقتراح Retrieval-Augmented Generation (RAG)، وهو إطار عمل عام للضبط الدقيق يربط مسترجعًا عصبيًا كثيفًا ومدربًا مسبقًا مع مُوَلِّد seq2seq ذاتي الانحدار لكل من التوليد والتصنيف مفتوحي النطاق.

الأفكار الرئيسية

ذاكرة هجينة بارامترية وغير بارامترية: تتكون الذاكرة غير البارامترية من فهرس متجهات كثيف يضم 21 مليون فقرة من Wikipedia (كل منها 100 كلمة) يتم الوصول إليها عبر Maximum Inner Product Search (MIPS). أما الذاكرة البارامترية فهي مُوَلِّد BART مدرب مسبقًا.
ضبط دقيق من البداية إلى النهاية (End-to-End): يتم تدريب مشفّر الاستعلام والمُوَلِّد بشكل مشترك من خلال معاملة الفقرات المسترجعة كمتغيرات كامنة وتقليل احتمالية السجل الهامشية السالبة للرموز المستهدفة دون إشراف صريح على الاسترجاع.
صيغتان للاشراط:
- RAG-Sequence: يشترط على نفس الوثيقة المسترجعة عبر كامل التسلسل المُوَلَّد.
- RAG-Token: يسمح لكل رمز مميز مُوَلَّد بالانتباه والتهميش عبر فقرات مسترجعة مختلفة.
معرفة بالعالم قابلة للتبديل الفوري (Hot-Swappable): يمكن استبدال الفهرس الخارجي أثناء وقت الاستدلال (مثل استبدال فهرس Wikipedia لعام 2016 بفهرس لعام 2018) لتحديث المعرفة بالعالم دون تعديل أوزان النموذج.

الطريقة

بالنظر إلى تسلسل الإدخال $x$ ، ينتج المسترجع $p_{η} (z ∣ x)$ توزيعًا على الوثائق $z$ ، ويقوم المُوَلِّد $p_{θ} (y_{i} ∣ x, z, y_{1 : i - 1})$ بتوليد الرموز المستهدفة مشروطة بكل من $x$ و $z$ .

يستخدم المسترجع Dense Passage Retriever (DPR): $p_{η} (z ∣ x) \propto exp (d (z)^{⊤} q (x))$ حيث أن $d (z) = BERT_{d} (z)$ و $q (x) = BERT_{q} (x)$ . يتم استرجاع أفضل $k$ من المرشحين باستخدام FAISS MIPS. يُترك فهرس الوثائق ومشفّر الوثائق $BERT_{d}$ ثابتين، بينما يتم الضبط الدقيق لـ $BERT_{q}$ ومعلمات مُوَلِّد BART المرموز لها بـ $θ$ .

RAG-Sequence

يعامل النموذج الوثيقة المسترجعة كمتغير كامن مفرد عبر كامل التسلسل $y$ : $p_{RAG-Sequence} (y ∣ x) \approx z \in top- k (p (\cdot ∣ x)) \sum p_{η} (z ∣ x) i \prod N p_{θ} (y_{i} ∣ x, z, y_{1 : i - 1})$ يمكن تقييم فك الترميز باستخدام Thorough Decoding (عبر تشغيل بحث الحزمة beam search لكل وثيقة وحساب تمريرات للأمام للفرضيات المرشحة عبر جميع الوثائق) أو Fast Decoding (بتقريب احتمالات الحزم المفقودة لتكون 0).

RAG-Token

يقوم النموذج بالتهميش على الوثائق عند كل خطوة رمز مميز، مما يتيح خلط المحتوى على مستوى الرمز عبر مصادر متعددة: $p_{RAG-Token} (y ∣ x) \approx i \prod N z \in top- k (p (\cdot ∣ x)) \sum p_{η} (z ∣ x) p_{θ} (y_{i} ∣ x, z, y_{1 : i - 1})$ ينتج عن ذلك احتمالية انتقال ذاتية الانحدار قياسية تتصل مباشرة ببحث الحزمة (beam search).

النتائج

الإجابة عن الأسئلة في النطاق المفتوح: حقق RAG نتائج قياسية غير مسبوقة على المعايير المفتوحة باستخدام التطابق التام (EM):
- Natural Questions: 44.5 (RAG-Seq) مقابل 41.5 (DPR) و36.6 (T5-11B+SSM).
- TriviaQA (التقسيم المفتوح القياسي): 56.8 (RAG-Seq)؛ وعلى تقسيم اختبار TQA-Wiki: 68.0 (RAG-Seq) مقابل 60.5 (T5-11B+SSM).
- WebQuestions: 45.5 (RAG-Token) مقابل 41.1 (DPR).
- CuratedTrec: 52.2 (RAG-Seq) مقابل 50.6 (DPR).
- والجدير بالذكر، في Natural Questions، حقق RAG نسبة 11.8% EM عندما كانت الإجابة الصحيحة مفقودة تمامًا من السياق المسترجع (حيث تسجل النماذج الاستخراجية 0%).
التوليد التجريدي: في Open MS-MARCO، حقق RAG-Sequence درجات 40.8 Rouge-L و44.2 Bleu-1، متفوقًا على BART (الذي حقق 38.2 Rouge-L و41.6 Bleu-1).
توليد أسئلة Jeopardy: صنّف المقيّمون البشريون RAG-Token على أنه أكثر واقعية من BART في 42.7% من الحالات مقابل تفوق BART في 7.1% فقط. كما وجد المقيمون أن RAG أكثر تحديدًا (37.4% مقابل 16.8%).
التحقق من الحقائق: في FEVER ثلاثي الفئات، حقق RAG دقة تصنيف بلغت 72.5% (بفارق 4.3% فقط عن أنظمة pipeline التي تستخدم إشرافًا مباشرًا بأدلة ذهبية)؛ وفي التصنيف الثنائي، حقق RAG دقة 89.5%.
تحديث المعرفة عبر التبديل الفوري: باستخدام اختبار زمني يضم 82 قائدًا بين عامي 2016 و2018، سجل RAG دقة 70% لقادة 2016 باستخدام فهرس 2016، و68% لقادة 2018 باستخدام فهرس 2018، وانخفضت الدقة بشكل حاد (12% و4%) عند عدم تطابق الفهارس.

القيود والمسائل المفتوحة

انهيار الاسترجاع (Retrieval Collapse): بالنسبة للمهام التي تتطلب اشراطًا واقعيًا صريحًا أضعف (مثل توليد القصص المفتوحة)، يمكن للمسترجع أن ينهار إلى استرجاع وثائق ثابتة غير متغيرة بينما يتعلم المُوَلِّد تجاهلها.
فهرسة الوثائق الثابتة: يُترك مشفّر الوثائق ثابتًا أثناء الضبط الدقيق للمهمة بسبب التكلفة الحسابية لإعادة الفهرسة المستمرة لـ 21 مليون متجه، مما يحد من تكيف المسترجع.
التأصيل في المصدر والتحيز: تظل الذاكرة غير البارامترية عرضة للمعلومات المضللة والتحيزات المضمنة في مجموعة المعرفة الأساسية (Wikipedia).
التدريب المسبق المشترك: تم تدريب مكوني المسترجع والمُوَلِّد مسبقًا بشكل منفصل قبل الضبط الدقيق للمهمة اللاحقة، مما يترك التدريب المسبق المشترك من البداية كاتجاه مفتوح للبحث.

المصطلحات الرئيسية

Retrieval-Augmented Generation (RAG): إطار عمل هجين يجمع بين مسترجع عصبي مدرب مسبقًا ونموذج تسلسل-إلى-تسلسل مدرب مسبقًا لاشتراط عملية التوليد على فقرات نصية غير بارامترية مسترجعة.
Parametric Memory: المعرفة الواقعية الضمنية المخزنة داخل أوزان الشبكة العصبية لمُوَلِّد seq2seq المدرب مسبقًا (BART).
Non-Parametric Memory: مجموعة وثائق خارجية صريحة (مثل فهرس متجهات كثيف عبر FAISS لـ 21 مليون فقرة من Wikipedia) يتم الوصول إليها أثناء التشغيل.
RAG-Sequence: صيغة لـ RAG تعامل الفقرة المسترجعة كمتغير كامن يظل ثابتًا عبر كامل التسلسل المُوَلَّد.
RAG-Token: صيغة لـ RAG تقوم بالتهميش على أفضل k وثائق مسترجعة بشكل فردي عند كل رمز مميز مُوَلَّد، مما يتيح التوليف عبر مصادر متعددة.
Dense Passage Retriever (DPR): بنية مشفّر BERT مزدوج تسجل مدى صلة الوثيقة بالاستعلام عبر البحث عن أقصى ناتج داخلي في فضاء التضمين الكثيف.
Maximum Inner Product Search (MIPS): الصيغة الرياضية للبحث المستخدمة للاسترجاع السريع لأفضل k من متجهات الوثائق الأقرب لمتجه الاستعلام في زمن دون خطي.
Index Hot-Swapping: ممارسة استبدال فهرس الوثائق غير البارامتري بمعلومات محدثة دون إعادة تدريب معلمات النموذج أو ضبطها دقيقًا.

أسئلة شائعة

ما الفرق بين RAG-Sequence وRAG-Token؟

يستخدم RAG-Sequence نفس الوثيقة المسترجعة بدقة لاشتراط كل رمز مميز عبر كامل التسلسل، بينما يقوم RAG-Token بالتهميش على أفضل الوثائق عند كل خطوة، مما يسمح بدعم رموز مميزة مختلفة من قبل وثائق مختلفة.

هل يتم تحديث تمثيلات الوثائق أثناء الضبط الدقيق؟

لا. يظل مشفّر الوثائق وفهرس FAISS ثابتين لتجنب التكلفة الحسابية العالية لإعادة فهرسة 21 مليون وثيقة أثناء التدريب؛ فقط مشفّر الاستعلام ومعلمات مُوَلِّد BART هي ما يتم تحديثه.

هل يمكن لـ RAG الإجابة عن الأسئلة عندما لا تكون الإجابة موجودة في الوثائق المسترجعة؟

نعم. نظرًا لأن التوليد غير مقيد ومدعوم بالذاكرة البارامترية لـ BART، يجيب RAG بشكل صحيح في 11.8% من حالات Natural Questions التي لا تحتوي فيها أي من الفقرات المسترجعة الأعلى على النص المستهدف، في حين تحقق النماذج الاستخراجية 0%.

كيف يقوم RAG بتحديث معرفته عند تغير حقائق العالم؟

نظرًا لأن ذاكرته الخارجية معيارية، يمكن إجراء 'تبديل فوري' لفهرس الوثائق بنسخة نصية أحدث (مثل استبدال فهرس Wikipedia لعام 2016 بفهرس لعام 2018) دون إعادة تدريب معلمات النموذج.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي