Finetuned Language Models Are Zero-Shot Learners

Jason Wei; Maarten Bosma; Vincent Y. Zhao; Kelvin Guu; Adams Wei Yu; Brian Lester; Nan Du; Andrew M. Dai; Quoc V. Le

งานวิจัย · arXiv 2109.01652

Finetuned Language Models Are Zero-Shot Learners

Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, Quoc V. Le

เผยแพร่ 2021-09-03cs.CL arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 โมเดลภาษาขนาดใหญ่ที่ยังไม่ผ่านการปรับจูนมักทำภารกิจแบบ zero-shot ได้ไม่ดี เนื่องจากพรอมต์ทั่วไปมีความแตกต่างจากการแจกแจงของโทเคนตอนพรีเทรน
🔧 Instruction tuning: ปรับจูนโมเดลภาษาแบบ decoder ขนาด 137B บนชุดข้อมูล NLP จำนวน 62 ชุดที่แปลงผ่านเทมเพลตคำสั่งภาษาธรรมชาติ โดยกันคลัสเตอร์ที่ใช้ประเมินผลออกจากการเทรน
📈 FLAN ในโหมด zero-shot เอาชนะ GPT-3 175B แบบ zero-shot ได้ถึง 20 จาก 25 ชุดข้อมูล และชนะ GPT-3 แบบ few-shot ในงานอย่าง ANLI และ BoolQ

บทคัดย่อ

บทความวิจัยนี้นำเสนอวิธีการที่เรียบง่ายในการยกระดับความสามารถด้านการเรียนรู้แบบ zero-shot ของโมเดลภาษา เราแสดงให้เห็นว่า instruction tuning ซึ่งเป็นการปรับจูนโมเดลภาษา (finetuning) บนกลุ่มของงานหลากหลายประเภทที่อธิบายผ่านคำสั่ง ช่วยพัฒนาประสิทธิภาพแบบ zero-shot ต่องานที่ไม่เคยเห็นมาก่อนได้อย่างก้าวกระโดด เรานำโมเดลภาษาแบบพรีเทรนขนาด 137B พารามิเตอร์ มาทำ instruction-tune บนงาน NLP กว่า 60 งานที่ถูกแปลงให้อยู่ในรูปเทมเพลตคำสั่งภาษาธรรมชาติ เราประเมินโมเดลที่ผ่านการปรับจูนด้วยคำสั่งนี้ ซึ่งมีชื่อว่า FLAN บนประเภทงานที่ไม่เคยเห็นมาก่อน ผลการทดลองพบว่า FLAN มีประสิทธิภาพเหนือกว่าโมเดลตั้งต้นอย่างมาก และเอาชนะ GPT-3 ขนาด 175B แบบ zero-shot ได้ถึง 20 จาก 25 งานที่ใช้ประเมิน ยิ่งไปกว่านั้น FLAN ยังทำคะแนนได้ดีกว่า GPT-3 แบบ few-shot อย่างขาดลอยในงาน ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA และ StoryCloze การศึกษาแบบ ablation ชี้ให้เห็นว่าจำนวนชุดข้อมูลที่ใช้ปรับจูน ขนาดของโมเดล และการใช้คำสั่งภาษาธรรมชาติ ล้วนเป็นปัจจัยสำคัญต่อความสำเร็จของ instruction tuning

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

This paper explores a simple method for improving the zero-shot learning abilities of language models. We show that instruction tuning -- finetuning language models on a collection of tasks described via instructions -- substantially improves zero-shot performance on unseen tasks. We take a 137B parameter pretrained language model and instruction-tune it on over 60 NLP tasks verbalized via natural language instruction templates. We evaluate this instruction-tuned model, which we call FLAN, on unseen task types. FLAN substantially improves the performance of its unmodified counterpart and surpasses zero-shot 175B GPT-3 on 20 of 25 tasks that we evaluate. FLAN even outperforms few-shot GPT-3 by a large margin on ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA, and StoryCloze. Ablation studies reveal that number of finetuning datasets, model scale, and natural language instructions are key to the success of instruction tuning.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

โมเดลภาษาขนาดใหญ่ (เช่น GPT-3 175B) โดดเด่นอย่างมากในการเรียนรู้แบบ few-shot ผ่านการใช้ตัวอย่างในบริบท (in-context exemplars) อย่างไรก็ตาม ขีดความสามารถแบบ zero-shot ยังคงด้อยกว่าอย่างเห็นได้ชัดในชุดทดสอบ NLP ที่มีความซับซ้อน เช่น การอ่านจับใจความ (reading comprehension), การอนุมานภาษาธรรมชาติ (natural language inference หรือ NLI) และการตอบคำถาม (question answering) โมเดลที่ยังไม่ผ่านการปรับจูนต้องพึ่งพาพรอมต์ในรูปแบบการเติมเต็มข้อความให้ต่อเนื่องจากข้อมูลพรีเทรน ซึ่งเป็นรูปแบบที่ไม่เป็นธรรมชาติและเปราะบางต่องานที่มักต้องระบุคำสั่งหรือข้อคำถามอย่างชัดเจน

คณะผู้วิจัยจึงศึกษาว่า การทำ supervised finetuning บนกลุ่มงาน NLP ที่หลากหลายและระบุคำสั่งด้วยภาษาธรรมชาติอย่างชัดเจน จะช่วยให้โมเดลภาษาสามารถวางนัยทั่วไปแบบ zero-shot ไปยังประเภทงานที่ไม่เคยพบมาก่อนในระหว่างการอนุมาน (inference) ได้หรือไม่

แนวคิดหลัก

Instruction Tuning: แปลงชุดข้อมูล NLP ที่มีอยู่ให้อยู่ในรูปแบบคำสั่ง-คำตอบ (instruction-response) โดยใช้เทมเพลตพรอมต์ภาษาธรรมชาติ ซึ่งเป็นการผสานการกำกับดูแลแบบหลายงาน (multitask supervision) เข้ากับการใช้พรอมต์
Task Cluster Holdout: จัดกลุ่มชุดข้อมูลออกเป็นคลัสเตอร์ตามหัวข้อ (เช่น NLI, Closed-Book QA, Translation, Sentiment) เมื่อต้องการทดสอบการวางนัยทั่วไปแบบ zero-shot บนคลัสเตอร์เป้าหมาย $D$ ชุดข้อมูลทั้งหมดใน $D$ (และคลัสเตอร์ที่มีความใกล้เคียงกัน) จะถูกคัดออกจากการฝึกฝน เพื่อรับประกันการประเมินแบบ zero-shot ข้ามประเภทงานอย่างแท้จริง
Classification with Options: สำหรับงานจำแนกประเภท (classification) จะต่อท้ายพรอมต์ด้วย OPTIONS: เพื่อระบุตัวเลือกคำตอบที่เป็นไปได้โดยตรง ซึ่งช่วยนำทางการแจกแจงเอาต์พุตของ generative model โดยไม่จำกัดอยู่เพียงแค่การเปรียบเทียบค่า logit ของการจัดอันดับ

ระเบียบวิธีวิจัย

โมเดลตั้งต้นคือ LaMDA-PT ซึ่งเป็น dense transformer สถาปัตยกรรม decoder-only แบบซ้ายไปขวา ขนาด 137 พันล้านพารามิเตอร์ ผ่านการพรีเทรนด้วย 2.49T BPE tokens จากเอกสารเว็บ โค้ด วิกิพีเดีย และข้อมูลบทสนทนา (มีข้อมูลภาษาอื่นที่ไม่ใช่ภาษาอังกฤษประมาณ 10%)

การรวบรวมข้อมูล: นำชุดข้อมูล 62 ชุดจาก TensorFlow Datasets มาจัดเป็น 12 คลัสเตอร์ แต่ละชุดข้อมูลถูกสร้างเทมเพลตคำสั่งภาษาธรรมชาติ 10 รูปแบบ (รวมถึงเทมเพลตแบบผกผันหรือ 'inverted' สูงสุด 3 รูปแบบ เช่น การสร้างข้อความจากค่าความรู้สึกที่กำหนด)
การตั้งค่าการฝึกฝน: จำกัดตัวอย่างการฝึกฝนสูงสุด 30k ตัวอย่างต่อชุดข้อมูล การจัดแบทช์ใช้รูปแบบผสมตามสัดส่วนตัวอย่าง (examples-proportional mixing) โดยกำหนดเพดานอัตราการผสมสูงสุดไว้ที่ 3,000 เพื่อป้องกันไม่ให้ชุดข้อมูลขนาดใหญ่ครอบงำการเทรน การฝึกฝนใช้ 30k gradient steps ด้วยขนาดแบทช์ 8,192 โทเคน ใช้ตัวปรับแต่งค่า Adafactor (learning rate $3 \times 1 0^{- 5}$ ) ความยาวลำดับ 1024 (อินพุต) และ 256 (เอาต์พุต) พร้อมการทำ sequence packing
เกณฑ์วิธีการประเมินผล: ในการประเมินผลข้าม $c$ คลัสเตอร์ที่ถูกกันไว้ จะมีการเทรนโมเดล FLAN ที่แยกจากกัน $c$ โมเดล ผลการทดสอบจะรายงานทั้งค่าเฉลี่ยจากทุกเทมเพลตคำสั่ง และค่าจากเทมเพลตที่ดีที่สุดที่คัดเลือกจาก validation set
การอนุมานพร้อมตัวอย่างแบบ Few-Shot: เมื่อมี $k$ ตัวอย่าง $(x_{i}, y_{i})$ อินพุตจะถูกจัดรูปแบบดังนี้: $instruct (x_{1}) \oplus y_{1} \oplus instruct (x_{2}) \oplus y_{2} \oplus \dots \oplus instruct (x_{k}) \oplus y_{k} \oplus instruct (x)$ โดยที่ $\oplus$ แทนการต่อข้อความด้วยโทเคนคั่น และจำกัดตัวอย่างสูงสุด 16 ตัวอย่างและไม่เกิน 960 โทเคน

ผลลัพธ์

การเปรียบเทียบแบบ Zero-Shot กับ GPT-3: เมื่อใช้เทมเพลตสำหรับ dev ที่ดีที่สุด โมเดล FLAN 137B แบบ zero-shot มีประสิทธิภาพเหนือกว่า GPT-3 175B แบบ zero-shot บน 20 จาก 25 ชุดทดสอบ และชนะ GPT-3 แบบ few-shot ใน 10 ชุดข้อมูล รวมถึง ANLI R1–R3, RTE, BoolQ, OpenbookQA และ StoryCloze
ประเภทงาน: โมเดลมีประสิทธิภาพเพิ่มขึ้นอย่างมากในงานที่มีโครงสร้างแบบคำสั่งโดยธรรมชาติ (เช่น NLI, การอ่านจับใจความ, closed-book QA, การแปล) ใน RTE นั้น FLAN ทำได้ 84.1% (เทมเพลต dev ที่ดีที่สุด) เทียบกับ GPT-3 zero-shot ที่ได้ 63.5% และ GPT-3 few-shot ที่ได้ 72.9% สำหรับ BoolQ นั้น FLAN ทำได้ 82.9% เทียบกับ GPT-3 ที่ได้ 60.5% (zero-shot) และ 77.5% (few-shot)
ความสัมพันธ์กับขนาดโมเดล: การศึกษา ablation ข้ามขนาดโมเดล 422M, 2B, 8B, 68B และ 137B พารามิเตอร์ พบว่า instruction tuning ทำให้ความสามารถ zero-shot บนงานใหม่ ลดลง สำหรับโมเดลที่มีขนาด $\leq 8 B$ พารามิเตอร์ การถ่ายทอดการเรียนรู้เชิงบวกจะปรากฏขึ้นเฉพาะในโมเดลขนาดใหญ่เท่านั้น ( $\sim 68 B$ และ $137 B$ )
ความสำคัญของคำสั่ง: การปรับจูนโดยไม่มีเทมเพลตคำสั่ง (ใช้อินพุต-เอาต์พุตล้วน: ค่าเฉลี่ย 4 คลัสเตอร์อยู่ที่ 37.3%) หรือระบุแค่ชื่อชุดข้อมูล (46.6%) ให้ผลลัพธ์ zero-shot ที่ด้อยกว่าการใช้คำสั่งภาษาธรรมชาติ (55.2%) อย่างเห็นได้ชัด
การทำงานร่วมกับ Prompt Tuning: การนำเทคนิค prompt tuning ที่ประหยัดพารามิเตอร์มาใช้กับ FLAN ให้ความแม่นยำบน SuperGLUE สูงกว่าการใช้กับโมเดลตั้งต้น LaMDA-PT ที่ยังไม่ปรับจูน โดยเฉพาะในสภาวะข้อมูลน้อยที่มีตัวอย่างเพียง 32 ตัวอย่าง

ข้อจำกัดและประเด็นเปิด

งานประเภทเติมเต็มประโยค (Sentence-Completion): Instruction tuning แทบไม่ช่วยเพิ่มประสิทธิภาพ (และบางครั้งส่งผลเสีย) ต่องานรูปแบบ language modeling ที่คำสั่งมีความซ้ำซ้อน เช่น Winogrande หรือการเติมประโยคในงาน commonsense reasoning
ความซับซ้อนของคำสั่ง: งานวิจัยนี้ศึกษาเฉพาะคำสั่งสั้นๆ ประโยคเดียว ยังไม่ได้ศึกษาคำสั่งขนาดยาวที่มีรายละเอียดซับซ้อนเหมือนแนวทางที่มักมอบหมายให้ผู้ประเมินที่เป็นมนุษย์
ขอบเขตบริบทและทรัพยากรคำนวณ: ขนาดบริบท (context length) 1024 โทเคนของ FLAN เป็นข้อจำกัดต่อการประเมินงานประเภทสรุปความ (summarization) นอกจากนี้ การรันและการให้บริการโมเดล dense ขนาด 137B พารามิเตอร์ยังต้องใช้ทรัพยากรการประมวลผลระดับสูง

คำศัพท์สำคัญ

instruction tuning: การปรับจูนโมเดลภาษาแบบพรีเทรนด้วยชุดข้อมูลหลากหลายประเภทที่จัดรูปแบบโดยใช้เทมเพลตคำสั่งภาษาธรรมชาติ เพื่อเพิ่มขีดความสามารถการวางนัยทั่วไปไปยังงานที่ไม่เคยเห็นมาก่อน
FLAN: Finetuned Language Net; โมเดลที่ผ่านการปรับจูนด้วยคำสั่งขนาด 137B พารามิเตอร์ โดยพัฒนาต่อยอดจากสถาปัตยกรรม decoder-only ของ LaMDA-PT
task clusters: การรวมกลุ่มชุดข้อมูล NLP ตามประเภทของงาน (เช่น NLI, Closed-Book QA) เพื่อใช้แบ่งชุดข้อมูลแบบ leave-one-cluster-out สำหรับการทดสอบแบบ zero-shot อย่างเข้มงวด
LaMDA-PT: โมเดล transformer โครงสร้าง decoder-only แบบ dense ทิศทางซ้ายไปขวา ขนาด 137B พารามิเตอร์ พรีเทรนด้วยข้อมูล 2.49T โทเคนจากเอกสารเว็บ โค้ด วิกิพีเดีย และบทสนทนา
classification with options: กลยุทธ์จัดรูปแบบเอาต์พุตโดยต่อท้ายพรอมต์ด้วยโทเคน 'OPTIONS:' ตามด้วยคลาสตัวเลือกที่เป็นไปได้ เพื่อชี้นำการสร้างข้อความอิสระของโมเดล
examples-proportional mixing: กลยุทธ์กำหนดน้ำหนักชุดข้อมูลระหว่างการเทรนหลายงาน โดยสุ่มตัวอย่างตามสัดส่วนขนาดข้อมูล แต่จำกัดเพดานสูงสุดไว้ที่ 3,000 ตัวอย่าง
data contamination analysis: การประเมินย้อนหลังเพื่อวัดความซ้ำซ้อนระดับ n-gram ระหว่างคลังข้อมูลพรีเทรนกับชุดทดสอบของเบঞ্চมาร์ก เพื่อยืนยันว่าผลงานที่ดีขึ้นไม่ได้เกิดจากการท่องจำข้อมูล

คำถามที่พบบ่อย

instruction tuning แตกต่างจากการทำ multitask finetuning แบบมาตรฐานอย่างไร?

multitask finetuning แบบเดิมมุ่งเน้นเพิ่มประสิทธิภาพในงานเฉพาะที่ใช้เทรนหรือปรับตัวเข้ากับโดเมนใหม่ แต่ instruction tuning ใช้คำสั่งภาษาธรรมชาติเพื่อฝึกให้โมเดลเข้าใจคำอธิบายภารกิจ โดยมุ่งเป้าไปที่การวางนัยทั่วไปแบบ zero-shot บนประเภทงานใหม่ๆ ที่ถูกแยกออกจากการฝึกฝนอย่างสิ้นเชิง

เหตุใด instruction tuning จึงทำให้ประสิทธิภาพของโมเดลภาษาขนาดเล็กลดลง?

สำหรับโมเดลที่มีขนาด 8B พารามิเตอร์หรือเล็กกว่า การเรียนรู้งาน instruction-tuning ราว 40 งานอาจใช้ความจุของพารามิเตอร์ไปจนหมด ส่งผลให้ความสามารถการวางนัยทั่วไปในงานใหม่ด้อยลง เฉพาะที่ระดับ $\sim 68 B$ และ 137B พารามิเตอร์เท่านั้นที่ความจุของโมเดลเพียงพอต่อการเรียนรู้ทั้งการทำงานและการปฏิบัติตามคำสั่งทั่วไป

งานประเภทใดบ้างที่ FLAN ไม่สามารถเอาชนะโมเดลตั้งต้นที่ยังไม่ปรับจูนได้?

instruction tuning แทบไม่แสดงประโยชน์ในงานที่อยู่ในรูปการเติมเต็มข้อความของ language modeling โดยตรง เช่น การแจกแจงการอ้างอิงร่วม (coreference resolution เช่น Winogrande) และการเติมประโยคตามสามัญสำนึก ซึ่งพรอมต์คำสั่งมีความซ้ำซ้อนกับเป้าหมายการพรีเทรนดั้งเดิมอยู่แล้ว

มีการจัดการปัญหาข้อมูลรั่วไหล (data contamination) ในคลังข้อมูลพรีเทรนอย่างไร?

คณะผู้วิจัยได้ค้นหาการซ้ำซ้อนระดับ 13-gram ระหว่างตัวอย่างชุดทดสอบกับชุดพรีเทรนขนาด 2.49T โทเคน เพื่อสร้างชุดย่อยที่สะอาดโดยไม่มีข้อความซ้อนทับ ผลลัพธ์พบว่าประสิทธิภาพบนชุดข้อมูลสะอาดไม่ได้ลดลงอย่างมีนัยสำคัญ ชี้ให้เห็นว่าการจดจำข้อมูลไม่ได้เป็นปัจจัยหลักต่อประสิทธิภาพ zero-shot ของ FLAN

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI