Finetuned Language Models Are Zero-Shot Learners

Panduan membaca

Masalah dan motivasi

Model bahasa besar (seperti GPT-3 175B) sangat unggul dalam few-shot learning dengan memanfaatkan contoh dalam konteks (in-context exemplars). Namun, kemampuan zero-shot mereka masih jauh lebih lemah pada tolak ukur NLP yang kompleks seperti pemahaman bacaan, natural language inference (NLI), dan tanya-jawab. Model yang tidak disesuaikan mengandalkan prompt yang diformat sebagai kelanjutan dari data pra-pelatihan, yang merupakan format tidak alami dan rentan untuk tugas-tugas yang biasanya dinyatakan sebagai arahan eksplisit atau pertanyaan langsung.

Para penulis mengeksplorasi apakah finetuning terawasi pada kumpulan tugas NLP yang luas dan beragam, yang diartikulasikan secara eksplisit sebagai instruksi bahasa alami, memungkinkan model bahasa untuk melakukan generalisasi zero-shot ke jenis tugas yang sama sekali baru pada saat inferensi.

Ide utama

• Instruction Tuning: Mengonversi dataset NLP yang ada ke dalam format instruksi-respons menggunakan templat prompt bahasa alami, menggabungkan supervisi multitugas dengan teknik prompting.
• Task Cluster Holdout: Mengelompokkan dataset ke dalam klaster tematik (misalnya, NLI, Closed-Book QA, Penerjemahan, Sentimen). Saat menguji generalisasi zero-shot pada klaster target $\mathcal{D}$, semua dataset milik $\mathcal{D}$ (dan klaster yang terkait erat) dikeluarkan dari pelatihan untuk menjamin evaluasi lintas tugas zero-shot yang sesungguhnya.
• Classification with Options: Untuk tugas klasifikasi, menambahkan sufiks OPTIONS: yang mencantumkan label kandidat valid langsung di dalam prompt, memandu distribusi keluaran model generatif tanpa membatasinya murni pada perbandingan logit rank-classification.

Metode

Model dasarnya adalah LaMDA-PT, sebuah transformer decoder-only padat yang memproses dari kiri ke kanan dengan 137 miliar parameter, yang dipra-latih pada 2,49T token BPE dari dokumen web, kode, Wikipedia, dan data dialog (sekitar 10% non-Inggris).

1. Agregasi Data: 62 dataset dari TensorFlow Datasets dikelompokkan ke dalam 12 klaster. Untuk setiap dataset, 10 templat instruksi bahasa alami unik disusun (termasuk hingga 3 templat 'terbalik', misalnya, menghasilkan teks berdasarkan sentimen).
2. Pengaturan Pelatihan: Contoh pelatihan per dataset dibatasi maksimal 30 ribu. Batch dibangun menggunakan skema pencampuran proporsional terhadap contoh (examples-proportional mixing) dengan tingkat pencampuran maksimum 3.000 untuk mencegah dataset besar mendominasi. Pelatihan berjalan selama 30 ribu langkah gradien dengan ukuran batch 8.192 token menggunakan pengoptimal Adafactor (learning rate $3\times 10^{-5}$), panjang sekuens 1024 (masukan) dan 256 (target), dengan pemadatan sekuens (sequence packing).
3. Protokol Evaluasi: Untuk mengevaluasi di $c$ klaster yang disisihkan, $c$ model FLAN yang berbeda dilatih. Performa dilaporkan baik sebagai rata-rata di semua templat instruksi maupun dengan templat terbaik yang dipilih pada set validasi.
4. Inferensi dengan Contoh Few-Shot: Ketika $k$ contoh $(x_i,y_i)$ tersedia, masukan diformat sebagai: $$\text{instruct}(x_1)\oplus y_1\oplus \text{instruct}(x_2)\oplus y_2\oplus \cdots \oplus \text{instruct}(x_k)\oplus y_k\oplus \text{instruct}(x)$$ di mana $\oplus$ melambangkan penggabungan dengan token pemisah, dibatasi hingga 16 contoh dan 960 token.

Hasil

• Perbandingan Zero-Shot melawan GPT-3: Menggunakan templat dev terbaik, FLAN 137B zero-shot mengungguli GPT-3 175B zero-shot pada 20 dari 25 tolak ukur yang dievaluasi dan melampaui GPT-3 few-shot pada 10 dataset, termasuk ANLI R1–R3, RTE, BoolQ, OpenbookQA, dan StoryCloze.
• Jenis Tugas: Peningkatan besar terjadi pada tugas-tugas yang secara alami dirumuskan sebagai instruksi (misalnya, NLI, pemahaman bacaan, closed-book QA, penerjemahan). Pada RTE, FLAN mencapai 84,1% (templat dev terbaik) vs. GPT-3 zero-shot 63,5% dan GPT-3 few-shot 72,9%. Pada BoolQ, FLAN mencapai 82,9% vs. GPT-3 zero-shot 60,5% dan few-shot 77,5%.
• Ketergantungan Skala: Studi ablasi pada 422M, 2B, 8B, 68B, dan 137B parameter mengungkapkan bahwa instruction tuning merusak generalisasi zero-shot pada tugas baru untuk model dengan parameter $\le 8\text{B}$. Transfer positif hanya muncul pada skala besar ($\sim 68\text{B}$ dan $137\text{B}$).
• Pentingnya Instruksi: Finetuning tanpa templat instruksi (hanya masukan-keluaran: rata-rata 4 klaster sebesar 37,3%) atau hanya nama dataset (46,6%) menghasilkan performa zero-shot yang jauh lebih buruk daripada menggunakan instruksi alami (55,2%).
• Kompatibilitas Prompt Tuning: Prompt tuning yang efisien secara parameter (parameter-efficient) yang diterapkan pada FLAN menghasilkan akurasi SuperGLUE yang lebih tinggi daripada jika diterapkan pada model dasar LaMDA-PT yang belum disetel, terutama dalam kondisi data terbatas dengan 32 contoh.

Keterbatasan dan pertanyaan terbuka

• Tugas Penyelesaian Kalimat (Sentence-Completion): Instruction tuning memberikan manfaat minimal (dan terkadang menurunkan performa) pada tugas-tugas bergaya language modeling di mana instruksi bersifat mubazir, seperti Winogrande atau penyelesaian kalimat pada penalaran akal sehat (commonsense reasoning).
• Kompleksitas Instruksi: Makalah ini hanya meneliti instruksi pendek berupa satu kalimat, alih-alih panduan prompt yang panjang dan terperinci seperti yang biasa diberikan kepada penilai manusia.
• Jendela Konteks & Komputasi: Panjang konteks FLAN yang sebesar 1024 token mencegah evaluasi menyeluruh pada tugas peringkasan (summarization). Selain itu, menjalankan dan melayani model padat berukuran 137B parameter membutuhkan sumber daya komputasi yang tinggi.