Finetuned Language Models Are Zero-Shot Learners

Jason Wei; Maarten Bosma; Vincent Y. Zhao; Kelvin Guu; Adams Wei Yu; Brian Lester; Nan Du; Andrew M. Dai; Quoc V. Le

الأوراق البحثية · arXiv 2109.01652

النماذج اللغوية المضبوطة بدقة هي متعلّمة من الصفر (Zero-Shot Learners)

Finetuned Language Models Are Zero-Shot Learners

Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, Quoc V. Le

تاريخ النشر 2021-09-03cs.CL arXiv PDF

اقرأ مع الترجمة والذكاء الاصطناعي

الملخص في ثلاثة أسطر

🎯 تواجه النماذج اللغوية الكبيرة غير المضبوطة صعوبة في مهام zero-shot لأن المحثات الخام تنحرف عن توزيع الرموز أثناء التدريب المسبق.
🔧 ضبط التعليمات (Instruction tuning): ضبط دقيق لنموذج فك التشفير اللغوي بحجم 137B عبر 62 مجموعة بيانات NLP مصاغة بقوالب لغة طبيعية، مع استبعاد مجموعات التقييم.
📈 يتفوق FLAN في وضعية zero-shot على نموذج GPT-3 175B في وضعية zero-shot على 20 من أصل 25 مجموعة بيانات تم تقييمها، ويتغلب على GPT-3 في وضعية few-shot على مهام مثل ANLI وBoolQ.

الملخص

تستكشف هذه الورقة طريقة بسيطة لتحسين قدرات التعلّم من الصفر (zero-shot learning) للنماذج اللغوية. نُبيّن أن ضبط التعليمات (instruction tuning) — أي الضبط الدقيق للنماذج اللغوية على مجموعة من المهام الموصوفة عبر تعليمات — يُحسّن بشكل جوهري الأداء من الصفر على المهام غير المرئية. نأخذ نموذجاً لغوياً مُدرّباً مسبقاً بحجم 137B معلَمة ونقوم بضبطه عبر التعليمات على أكثر من 60 مهمة من مهام NLP مصاغة عبر قوالب تعليمات باللغة الطبيعية. نُقيّم هذا النموذج المضبوط بالتعليمات، والذي نطلق عليه اسم FLAN، على أنواع مهام غير مرئية. يُحسّن FLAN بشكل كبير أداء نظيره غير المُعدّل ويتفوق على نموذج GPT-3 بحجم 175B في وضعية zero-shot على 20 من أصل 25 مهمة تم تقييمها. حتى أن FLAN يتفوق على GPT-3 في وضعية few-shot بفارق كبير على ANLI وRTE وBoolQ وAI2-ARC وOpenbookQA وStoryCloze. وتكشف دراسات الاستئصال (ablation studies) أن عدد مجموعات بيانات الضبط الدقيق، وحجم النموذج، والتعليمات باللغة الطبيعية هي عوامل أساسية لنجاح ضبط التعليمات.

الملخص الأصلي (بالإنجليزية)

This paper explores a simple method for improving the zero-shot learning abilities of language models. We show that instruction tuning -- finetuning language models on a collection of tasks described via instructions -- substantially improves zero-shot performance on unseen tasks. We take a 137B parameter pretrained language model and instruction-tune it on over 60 NLP tasks verbalized via natural language instruction templates. We evaluate this instruction-tuned model, which we call FLAN, on unseen task types. FLAN substantially improves the performance of its unmodified counterpart and surpasses zero-shot 175B GPT-3 on 20 of 25 tasks that we evaluate. FLAN even outperforms few-shot GPT-3 by a large margin on ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA, and StoryCloze. Ablation studies reveal that number of finetuning datasets, model scale, and natural language instructions are key to the success of instruction tuning.

دليل القراءة

المشكلة والدوافع

تتفوق النماذج اللغوية الكبيرة (مثل GPT-3 175B) في التعلم بأمثلة قليلة (few-shot learning) من خلال الاستفادة من الأمثلة التوضيحية داخل السياق. ومع ذلك، تظل قدراتها في التعلم من الصفر (zero-shot) أضعف بكثير على المعايير المعقدة في معالجة اللغات الطبيعية مثل الفهم القرائي، والاستدلال اللغوي الطبيعي (NLI)، والإجابة عن الأسئلة. تعتمد النماذج غير المضبوطة على محثات مصممة كامتدادات لبيانات التدريب المسبق، وهو نسق غير طبيعي وهش للمهام التي تُصاغ عادةً كتوجيهات أو استفسارات صريحة.

يستكشف المؤلفون ما إذا كان الضبط الدقيق الخاضع للإشراف على مجموعة واسعة ومتنوعة من مهام NLP، والمصاغة صراحةً كتعليمات باللغة الطبيعية، يُمكّن النماذج اللغوية من التعميم من الصفر على أنواع مهام غير مرئية تماماً في وقت الاستدلال.

الأفكار الرئيسية

ضبط التعليمات (Instruction Tuning): تحويل مجموعات بيانات NLP الحالية إلى أنساق تعليمات واستجابات باستخدام قوالب محثات باللغة الطبيعية، مما يجمع بين الإشراف متعدد المهام وهندسة المحثات.
حجب عناقيد المهام (Task Cluster Holdout): تجميع مجموعات البيانات في عناقيد موضوعية (مثل NLI، وإجابة الأسئلة المغلقة Closed-Book QA، والترجمة، وتحليل المشاعر). عند اختبار التعميم من الصفر على عنقود مستهدف $D$ ، تُستبعد جميع مجموعات البيانات التابعة لـ $D$ (والعناقيد المرتبطة بها وثيقاً) من التدريب لضمان تقييم حقيقي للمهام المتعددة من الصفر.
التصنيف مع الخيارات (Classification with Options): في مهام التصنيف، يتم إلحاق اللاحقة OPTIONS: التي تسرد التسميات المرشحة الصالحة مباشرة في المحث، مما يوجه توزيع المخرجات للنموذج التوليدي دون حصره فقط في مقارنات لوغاريتمات احتمالية رتب التصنيف (rank-classification logit comparisons).

الطريقة

النموذج الأساسي هو LaMDA-PT، وهو محول كثيف ذو مسار من اليسار إلى اليمين مخصص لفك التشفير فقط (decoder-only) يحتوي على 137 مليار معلَمة، ودُرّب مسبقاً على 2.49T رمز BPE عبر مستندات الويب والشيفرات البرمجية وويكيبيديا وبيانات الحوار (حوالي 10% منها غير إنجليزية).

تجميع البيانات: تجميع 62 مجموعة بيانات من TensorFlow Datasets في 12 عنقوداً. ولكل مجموعة بيانات، تم إنشاء 10 قوالب تعليمات فريدة باللغة الطبيعية (بما في ذلك ما يصل إلى 3 قوالب "معكوسة"، مثل توليد النص بناءً على المشاعر).
إعدادات التدريب: تحديد سقف لأمثلة التدريب لكل مجموعة بيانات عند 30 ألف مثال. يتم بناء الدفعات باستخدام مخطط خلط يتناسب مع عدد الأمثلة مع حد أقصى لمعدل الخلط يبلغ 3,000 لمنع مجموعات البيانات الضخمة من الهيمنة. استمر التدريب لمدة 30 ألف خطوة تدرج بحجم دفعة يبلغ 8,192 رمزاً باستخدام مُحسِّن Adafactor (معدل التعلم $3 \times 1 0^{- 5}$ )، وطول تسلسل 1024 (للمدخلات) و256 (للهدف)، مع استخدام حزم التسلسلات (sequence packing).
بروتوكول التقييم: للتقييم عبر $c$ من العناقيد المحجوبة، يتم تدريب $c$ من نماذج FLAN المتميزة. يتم الإبلاغ عن الأداء كمتوسط عبر جميع قوالب التعليمات وباستخدام أفضل قالب تم اختياره على مجموعة التحقق.
الاستدلال بأمثلة قليلة (Few-Shot Exemplars): عندما تتوفر $k$ من الأمثلة $(x_{i}, y_{i})$ ، يتم تنسيق المدخلات على النحو التالي: $instruct (x_{1}) \oplus y_{1} \oplus instruct (x_{2}) \oplus y_{2} \oplus \dots \oplus instruct (x_{k}) \oplus y_{k} \oplus instruct (x)$ حيث يمثل $\oplus$ الضم مع رمز فاصل، بحد أقصى 16 مثالاً و960 رمزاً.

النتائج

مقارنة التعلم من الصفر مع GPT-3: باستخدام أفضل قالب على مجموعة التطوير، يتفوق FLAN 137B في وضعية zero-shot على GPT-3 175B في وضعية zero-shot في 20 من أصل 25 مقياساً تم تقييمها، ويتجاوز GPT-3 في وضعية few-shot على 10 مجموعات بيانات، بما في ذلك ANLI R1–R3 وRTE وBoolQ وOpenbookQA وStoryCloze.
أنواع المهام: تحققت مكاسب كبيرة في المهام المصاغة بطبيعتها كتعليمات (مثل NLI، والفهم القرائي، والـ closed-book QA، والترجمة). في RTE، حقق FLAN نسبة 84.1% (بأفضل قالب) مقابل 63.5% لـ GPT-3 من الصفر و72.9% لـ GPT-3 بأمثلة قليلة. وفي BoolQ، وصل FLAN إلى 82.9% مقابل 60.5% لـ GPT-3 من الصفر و77.5% بأمثلة قليلة.
الاعتماد على الحجم: كشفت دراسات الاستئصال عبر 422M و2B و8B و68B و137B معلَمة أن ضبط التعليمات يضر بتعميم zero-shot على المهام غير المرئية في النماذج التي تمتلك $\leq 8 B$ معلَمة. ولا يظهر الانتقال الإيجابي إلا مع الأحجام الضخمة ( $\sim 68 B$ و $137 B$ ).
أهمية التعليمات: أدى الضبط الدقيق بدون قوالب تعليمات (مدخلات ومخرجات فقط: متوسط 37.3% عبر 4 عناقيد) أو بأسماء مجموعات البيانات فقط (46.6%) إلى أداء zero-shot أسوأ بكثير مقارنة بالتعليمات الطبيعية (55.2%).
التوافق مع ضبط المحثات (Prompt Tuning): أدى ضبط المحثات الفعال من حيث المعلمات المطبق على FLAN إلى دقة SuperGLUE أعلى مقارنة بتطبيقه على نموذج الأساس LaMDA-PT غير المضبوط، لا سيما في سيناريوهات الموارد المنخفضة ذات الـ 32 مثالاً.

أوجه القصور والأسئلة المفتوحة

مهام إكمال الجمل: يقدم ضبط التعليمات فائدة ضئيلة (وقد يضر أحياناً) في المهام الشبيهة بنمذجة اللغة حيث تكون التعليمات حشواً زائداً، مثل Winogrande أو إكمال الجمل في الاستدلال المنطقي العام.
تعقيد التعليمات: تبحث الورقة فقط في التعليمات القصيرة المكونة من جملة واحدة بدلاً من إرشادات المحثات الطويلة والمفصلة التي تُعطى عادةً للمُقيّمين البشريين.
نافذة السياق والحوسبة: منع طول السياق في FLAN البالغ 1024 رمزاً التقييم الدقيق لمهام التلخيص. علاوة على ذلك، يتطلب تشغيل ونشر نموذج كثيف بحجم 137B معلَمة موارد حوسبة هائلة.

المصطلحات الرئيسية

instruction tuning: الضبط الدقيق لنموذج لغوي مُدرّب مسبقاً على مجموعة متنوعة من مجموعات البيانات المصاغة باستخدام قوالب تعليمات باللغة الطبيعية لتحسين التعميم على المهام غير المرئية.
FLAN: شبكة اللغة المضبوطة بدقة (Finetuned Language Net)؛ وهو النموذج المضبوط بالتعليمات بحجم 137B معلَمة والمبني على بنية فك التشفير فقط LaMDA-PT.
task clusters: تجميعات لمجموعات بيانات NLP حسب نوع المهمة (مثل NLI، وClosed-Book QA) تُستخدم لفرض تقسيمات تقييم صارمة تستبعد عنقوداً كاملاً لاختبار التعلم من الصفر.
LaMDA-PT: محول كثيف لفك التشفير فقط من اليسار إلى اليمين بحجم 137B معلَمة، مُدرّب مسبقاً على 2.49T رمز من وثائق الويب والشيفرات البرمجية وويكيبيديا وبيانات الحوار.
classification with options: استراتيجية لتنسيق المخرجات حيث يُلحق الرمز 'OPTIONS:' متبوعاً بالفئات المرشحة بمحثات التصنيف لتوجيه التوليد النصي الحر.
examples-proportional mixing: استراتيجية لموازنة مجموعات البيانات أثناء التدريب متعدد المهام حيث يتناسب أخذ العينات من البيانات مع حجمها حتى حد أقصى محدد للخلط (3,000 مثال).
data contamination analysis: تقييم لاحق يقيس تداخل الـ n-gram بين مجموعة بيانات التدريب المسبق ومجموعات اختبار المعايير للتحقق من أن مكاسب الأداء لم تكن بسبب الحفظ والاستظهار.

أسئلة شائعة

كيف يختلف ضبط التعليمات (instruction tuning) عن الضبط الدقيق القياسي متعدد المهام؟

يهدف الضبط الدقيق التقليدي متعدد المهام إلى تحسين الأداء عبر مهام التدريب المحددة أو التكيف مع مجالات جديدة. أما ضبط التعليمات فيستخدم تعليمات اللغة الطبيعية لتدريب النموذج على فهم أوصاف المهام، مستهدفاً التعميم من الصفر (zero-shot) على أنواع مهام غير مرئية تم استبعادها بالكامل أثناء التدريب.

لماذا يضر ضبط التعليمات بالأداء في النماذج اللغوية الأصغر؟

بالنسبة للنماذج التي تحتوي على 8B معلَمة أو أقل، يبدو أن تعلم ما يقرب من 40 مهمة مختلفة لضبط التعليمات يستهلك كامل سعة معلمات النموذج، مما يقلل من قدرته على تعميم المهام غير المرئية. ولا تتيح السعة تعلم تنفيذ المهام واتباع التعليمات العامة معاً إلا عند حجم $\sim 68 B$ و137B معلَمة.

ما هي المهام التي يفشل فيها FLAN في التفوق على النموذج الأساسي غير المضبوط؟

يُظهر ضبط التعليمات فائدة ضئيلة في المهام المصاغة مباشرة كإكمال لنمذجة اللغة، مثل حل الإحالة المشتركة (مثل Winogrande) ومعايير الاستدلال المنطقي العام القائمة على مواصلة الجمل، حيث تكون المحثات التعليمية حشواً مكرراً إلى حد كبير مع هدف التدريب المسبق الأساسي.

كيف تم التعامل مع تلوث البيانات في مجموعة التدريب المسبق؟

بحث المؤلفون عن تداخلات الـ 13-gram بين أمثلة الاختبار ومجموعة بيانات التدريب المسبق المكونة من 2.49T رمز، وأنشأوا مجموعات فرعية نظيفة خالية من أي تطابق. وأظهر الأداء على المجموعات الفرعية النظيفة عدم وجود ارتباط بانخفاض الأداء، مما يشير إلى أن الحفظ لم يكن المحرك وراء مكاسب FLAN في وضعية zero-shot.

كتب الذكاء الاصطناعي الشرح في هذه الصفحة استنادًا إلى الورقة، وقد يحتوي على أخطاء. راجع الورقة للتفاصيل.

اقرأ مع الترجمة والذكاء الاصطناعي