الأوراق البحثية · arXiv 2005.14165
النماذج اللغوية هي متعلمات بأمثلة قليلة
Language Models are Few-Shot Learners
اقرأ مع الترجمة والذكاء الاصطناعي
الملخص في ثلاثة أسطر
- 🎯 تعتمد نماذج معالجة اللغات الطبيعية القياسية على الضبط الدقيق المخصص لكل مهمة باستخدام آلاف الأمثلة المصنفة، مما يخاطر بضعف التعميم خارج التوزيع.
- 🔧 تدريب GPT-3 (حتى 175 مليار معامل) على 300 مليار رمز، وتقييمه باستخدام التكييف السياقي للمطالبات دون أي تحديثات للأوزان.
- 📈 في إعداد الأمثلة القليلة، يماثل GPT-3 175B النماذج الخاضعة للضبط الدقيق أو يقترب منها، محققاً 71.2% على TriviaQA ودقة 86.4% على LAMBADA.
الملخص
أظهرت دراسات حديثة تحسينات جوهرية في العديد من مهام واختبارات معالجة اللغات الطبيعية (NLP) عبر التدريب المسبق على مدونة نصية ضخمة متبوعاً بالضبط الدقيق (fine-tuning) على مهمة محددة. ومع أن بنية هذه النماذج تكون عادةً غير مرتبطة بمهمة معينة، إلا أن هذه الطريقة ما تزال تتطلب مجموعات بيانات للضبط الدقيق خاصة بالمهمة تضم آلافاً أو عشرات الآلاف من الأمثلة. في المقابل، يمكن للبشر عموماً أداء مهمة لغوية جديدة انطلاقاً من أمثلة معدودة فقط أو من مجرد تعليمات بسيطة؛ وهو أمر ما تزال أنظمة معالجة اللغات الطبيعية الحالية تواجه صعوبة بالغة في تحقيقه. نُبيّن في هذا البحث أن زيادة حجم النماذج اللغوية يُحسّن بشكل كبير من الأداء القائم على أمثلة قليلة وغير المرتبط بمهمة محددة، بل ويصل أحياناً إلى مستوى منافس للأساليب السابقة التي تعتمد على الضبط الدقيق. تحديداً، قمنا بتدريب GPT-3، وهو نموذج لغوي ذاتي الانحدار يضم 175 مليار معامل، أي أكثر بعشرة أضعاف من أي نموذج لغوي غير متناثر (non-sparse) سابق، واختبرنا أداءه في سياق الأمثلة القليلة (few-shot). تم تطبيق GPT-3 على جميع المهام دون أي تحديثات للتدرج أو ضبط دقيق، حيث حُددت المهام والأمثلة التوضيحية عبر التفاعل النصي الصرف مع النموذج. حقق GPT-3 أداءً قوياً على العديد من مجموعات بيانات معالجة اللغات الطبيعية، بما يشمل مهام الترجمة، والإجابة عن الأسئلة، وملء الفراغات (cloze)، فضلاً عن مهام عديدة تتطلب الاستدلال الآني أو التكيف مع مجالات جديدة، مثل إعادة ترتيب الحروف لتكوين كلمات، أو استخدام كلمة جديدة في جملة، أو إجراء عمليات حسابية من 3 أرقام. في الوقت ذاته، حددنا أيضاً بعض مجموعات البيانات التي ما يزال التعلم بأمثلة قليلة في GPT-3 يواجه صعوبة فيها، بالإضافة إلى مجموعات بيانات يواجه فيها مشكلات منهجية مرتبطة بالتدريب على مدونات ويب ضخمة. وأخيراً، وجدنا أن بإمكان GPT-3 توليد عينات من المقالات الإخبارية التي يجد المقيمون البشريون صعوبة في تمييزها عن المقالات التي يكتبها البشر. ونناقش التأثيرات المجتمعية الأوسع لهذا الاكتشاف ولنموذج GPT-3 بوجه عام.
الملخص الأصلي (بالإنجليزية)
Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few examples or from simple instructions - something which current NLP systems still largely struggle to do. Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches. Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic. At the same time, we also identify some datasets where GPT-3's few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora. Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.
دليل القراءة
المشكلة والدافع
تتطلب مسارات العمل القياسية القائمة على التدريب المسبق والضبط الدقيق مجموعات بيانات مصنفة وضخمة خاصة بكل مهمة (تتراوح عادةً بين آلاف ومئات الآلاف من الأمثلة). هذا المطلب يحد من إمكانية التطبيق العام، ويزيد من التأثر بالارتباطات الزائفة، ويبتعد عن آلية التعلم البشري التي تتكيف مع المهام باستخدام التعليمات أو الحد الأدنى من الأمثلة التوضيحية فقط. وكانت المحاولات السابقة للتعلم داخل السياق باستخدام نماذج أصغر حجماً تتخلف عن أداء الضبط الدقيق بفوارق كبيرة.
الأفكار الرئيسية
- التعلم الفوقي داخل السياق (In-Context Meta-Learning): يكتسب النموذج مهارات التعرف على الأنماط أثناء التدريب المسبق، ويؤدي التكيف مع المهمة في فضاء التنشيطات خلال التمرير الأمامي في وقت الاختبار دون أي تحديثات للتدرج.
- طيف التكييف (Spectrum of Conditioning): تُختبر المهام عبر الصفرية (zero-shot: تعليمات فقط)، والأحادية (one-shot: تعليمات + مثال توضيحي واحد)، والقليلة (few-shot: عدد من الأمثلة التوضيحية، عادةً من 10 إلى 100 ضمن نافذة سياق تتسع لـ 2048 رمزاً).
- التوسع القابل للتنبؤ (Predictable Scaling): يُترجم التوسع التجريبي لدالة القوة في خسارة التحقق إلى تحسينات مستمرة في القدرات اللاحقة عبر 8 أحجام للنماذج (من 125 مليون إلى 175 مليار معامل).
الطريقة
يستخدم GPT-3 بنية محول (transformer) ذاتية الانحدار مطابقة لنموذج GPT-2، مع إضافة أنماط انتباه تتبادل بين الكثيفة والمتناثرة النطاقية محلياً. دُرّبت النماذج مسبقاً على 300 مليار رمز بحجم سياق فعلي قدره .
تشمل صياغات التقييم الرئيسية ما يلي:
- أرجحية الإكمال لكل رمز (Per-Token Completion Likelihood): بالنسبة لمجموعات بيانات الاختيار من متعدد، تُقيّم الإكمالات المرشحة عبر مقارنة احتمالات الرموز المعيارية.
- المعايرة غير المشروطة (Unconditional Normalization): في اختبارات مثل ARC وOpenBookQA وRACE، تُعاير أرجحية النموذج مقارنة بخط أساس غير مشروط:
حيث يكون مطالبة عامة مثل
"Answer: "أو"A: ". - فك ترميز التوليد (Generation Decoding): تستخدم مهام الإكمال الحر أسلوب البحث الشعاعي (beam search) بعرض حزمة قدره 4 وجزاء لطول النص قدره .
النتائج
- الإجابة عن الأسئلة المغلقة (Closed-Book QA): حقق GPT-3 175B نسبة 71.2% في إعداد الأمثلة القليلة على TriviaQA (متفوقاً على نموذج RAG الخاضع للضبط الدقيق في المجال المفتوح عند 68.0%)، و41.5% على WebQuestions، و29.9% على Natural Questions.
- نمذجة اللغة وملء الفراغات: حقق النموذج حيرة (perplexity) بلغت 20.5 على PTB (دون أمثلة/zero-shot). وعلى LAMBADA، أدت صياغة المهمة كاختبار ملء فراغات إلى دقة 86.4% في إعداد الأمثلة القليلة (أعلى بنسبة 18% من أفضل النماذج السابقة SOTA).
- الترجمة: بلغت الترجمة إلى الإنجليزية 39.2 درجة BLEU لـ (الفرنسية الإنجليزية)، و40.6 درجة BLEU لـ (الألمانية الإنجليزية)، و39.5 درجة BLEU لـ (الرومانية الإنجليزية)، متفوقاً على النماذج الأساسية السابقة في الترجمة الآلية العصبية غير الخاضعة للإشراف (unsupervised NMT).
- الاستدلال والتوليف التركيبي: يحل الجمع المكون من رقمين بدقة 100% والجمع المكون من 3 أرقام بدقة 80.4% في إعداد الأمثلة القليلة. ويولد مقالات إخبارية اصطناعية ميّزها المقيمون البشريون عن المقالات الحقيقية بدقة 52% فقط (وهي نسبة قريبة من التخمين العشوائي).
أوجه القصور والأسئلة المفتوحة
- المهام الضعيفة: يواجه صعوبة في المقارنات عبر التسلسلات، لا سيما الاستلزام اللغوي الطبيعي (NLI مثل ANLI وRTE) ومهمة الكلمة في السياق (WiC بنسبة 49.4%، وهي قريبة من الصدفة العشوائية).
- القيود الهيكلية: يمنع التدريب الذاتي الانحدار البحت إمكانية التكييف ثنائي الاتجاه، مما يضر بالمهام التي تتطلب مراجعة الأجزاء السابقة أو إعادة قراءة التسلسل بالكامل.
- تلوث البيانات: يؤدي الجمع الآلي المكثف من الويب إلى تداخل بين بيانات التدريب والاختبار، مما استدعى إجراء عمليات تدقيق لاحقة واسعة النطاق لترشيح -gram (على سبيل المثال، في Winograd وPIQA).
- التأثيرات المجتمعية: يمتص التدريب على نطاق الإنترنت تحيزات جنسانية وعرقية ودينية كبيرة، كما يمكن استغلال المخرجات المولدة في توليد نصوص لأغراض ضارة.
المصطلحات الرئيسية
- in-context learning (التعلم داخل السياق)
- عملية التكيف في الحلقة الداخلية حيث يستنتج النموذج المدرب مسبقاً المهمة وينفذها في وقت الاختبار اعتماداً كلياً على تعليمات اللغة الطبيعية والأمثلة التوضيحية في المطالبة، دون أي تحديثات للتدرج.
- few-shot (أمثلة قليلة)
- إعداد تقييم يتلقى فيه النموذج أكبر عدد ممكن من الأمثلة التوضيحية (عادةً من 10 إلى 100) التي تتسع لها نافذة السياق الخاصة به جنباً إلى جنب مع وصف المهمة.
- one-shot (مثال واحد)
- حالة تقييم لا تسمح إلا بمثال توضيحي واحد للمهمة مقترناً بوصف للمهمة باللغة الطبيعية.
- zero-shot (دون أمثلة)
- إعداد تقييم يتلقى فيه النموذج تعليمة باللغة الطبيعية فقط تصف المهمة، دون تقديم أي أمثلة توضيحية.
- closed-book question answering (الإجابة عن الأسئلة بنظام الكتاب المغلق)
- الإجابة عن الأسئلة الواقعية بالاعتماد حصرياً على المعرفة المخزنة في معاملات النموذج، دون إمكانية الوصول إلى مستندات خارجية أو أنظمة استرجاع في وقت الاختبار.
- data contamination (تلوث البيانات)
- التضمين العرضي لاختبارات التقييم اللاحقة، أو مجموعات الاختبار، أو مجموعات التطوير ضمن مدونة التدريب المسبق الضخمة المجمعة من الإنترنت.
- sparse attention (الانتباه المتناثر)
- تعديل معماري يتبادل بين طبقات الانتباه الكثيفة وأنماط الانتباه المتناثرة النطاقية محلياً، لتحقيق التوازن في الكفاءة الحسابية عبر السياقات الطويلة.
- unconditional normalization (المعايرة غير المشروطة)
- قسمة أرجحية الإكمال المشروطة على احتمال الإكمال المعطى فقط لمطالبة عامة، وتُستخدم لإزالة التحيزات الناتجة عن الطول وتكرار الكلمات في مهام الاختيار من متعدد.
أسئلة شائعة
كم عدد معاملات نموذج GPT-3 الكامل وكيف تم تدريبه؟
يحتوي GPT-3 على 175 مليار معامل قابل للتدريب عبر 96 طبقة، و96 رأس انتباه، وبُعد مخفي قدره 12,288. تم تدريبه على 300 مليار رمز مأخوذة من Common Crawl مصفاة، وWebText2، وBooks1، وBooks2، وWikipedia باستخدام خوارزمية Adam على مجموعات معالجات رسومية Microsoft V100.
هل يستخدم GPT-3 الضبط الدقيق للمهام والاختبارات اللاحقة؟
لا، فجميع النتائج الأساسية في الورقة البحثية جرى تقييمها دون أي تحديثات للتدرج أو ضبط دقيق، بالاعتماد كلياً على مطالبات السياق الصفرية، أو الأحادية، أو القليلة الأمثلة.
ما مدى سهولة تمييز البشر للمقالات الإخبارية التي يولدها GPT-3 175B؟
حقق المقيمون البشريون دقة بلغت حوالي 52% في التمييز بين المقالات الإخبارية القصيرة (200 كلمة) والأطول (500 كلمة) التي ولدها GPT-3 وتلك التي كتبها البشر، وهي نسبة بالكاد تتجاوز التخمين العشوائي (50%).
ما هي المهام التي يواجه فيها GPT-3 أكبر قدر من الصعوبة؟
يقدم GPT-3 أداءً ضعيفاً في مهام الاستلزام اللغوي الطبيعي (مثل ANLI وRTE)، والمقارنات ثنائية الاتجاه مثل مهمة الكلمة في السياق (WiC، محققاً 49.4%)، وبعض مهام فهم المقروء مثل QuAC وRACE.
كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.