Language Models are Few-Shot Learners

Tom B. Brown; Benjamin Mann; Nick Ryder; Melanie Subbiah; Jared Kaplan; Prafulla Dhariwal; Arvind Neelakantan; Pranav Shyam; Girish Sastry; Amanda Askell; Sandhini Agarwal; Ariel Herbert-Voss; Gretchen Krueger; Tom Henighan; Rewon Child; Aditya Ramesh; Daniel M. Ziegler; Jeffrey Wu; Clemens Winter; Christopher Hesse; Mark Chen; Eric Sigler; Mateusz Litwin; Scott Gray; Benjamin Chess; Jack Clark; Christopher Berner; Sam McCandlish; Alec Radford; Ilya Sutskever; Dario Amodei

Makalah · arXiv 2005.14165

Language Models are Few-Shot Learners

Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss et al.

Terbit 2020-05-28cs.CL arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 Model NLP standar mengandalkan fine-tuning spesifik tugas pada ribuan contoh berlabel, berisiko terhadap generalisasi out-of-distribution yang buruk.
🔧 Melatih GPT-3 (hingga 175B parameter) pada 300B token dan mengevaluasinya menggunakan pengondisian prompt in-context tanpa pembaruan bobot apa pun.
📈 Dalam skenario few-shot, GPT-3 175B menyamai atau mendekati model hasil fine-tuning, meraih 71,2% pada TriviaQA dan akurasi 86,4% pada LAMBADA.

Abstrak

Karya terkini telah menunjukkan peningkatan substansial pada berbagai tugas dan tolok ukur NLP melalui pra-pelatihan pada korpus teks besar yang diikuti dengan fine-tuning untuk tugas spesifik. Meskipun arsitekturnya umumnya agnostik terhadap tugas, metode ini tetap membutuhkan dataset fine-tuning spesifik tugas yang terdiri dari ribuan atau puluhan ribu contoh. Sebaliknya, manusia secara umum dapat menjalankan tugas bahasa baru hanya dari beberapa contoh atau instruksi sederhana—sesuatu yang sebagian besar sistem NLP saat ini masih kesulitan melakukannya. Di sini kami menunjukkan bahwa memperbesar skala model bahasa secara signifikan meningkatkan performa few-shot yang agnostik terhadap tugas, bahkan terkadang mencapai daya saing dengan pendekatan fine-tuning state-of-the-art sebelumnya. Secara khusus, kami melatih GPT-3, sebuah model bahasa autoregresif dengan 175 miliar parameter, 10x lebih besar dari model bahasa non-sparse sebelumnya, dan menguji performanya dalam pengaturan few-shot. Untuk semua tugas, GPT-3 diterapkan tanpa pembaruan gradien atau fine-tuning apa pun, dengan tugas dan demonstrasi few-shot ditentukan murni melalui interaksi teks dengan model. GPT-3 meraih performa kuat pada banyak dataset NLP, termasuk penerjemahan, tanya-jawab, dan tugas cloze, serta beberapa tugas yang memerlukan penalaran spontan atau adaptasi domain, seperti menguraikan kata acak, menggunakan kata baru dalam kalimat, atau melakukan aritmetika 3 digit. Pada saat yang sama, kami juga mengidentifikasi beberapa dataset di mana pembelajaran few-shot GPT-3 masih mengalami kesulitan, serta beberapa dataset di mana GPT-3 menghadapi masalah metodologis terkait pelatihan pada korpus web yang masif. Terakhir, kami menemukan bahwa GPT-3 dapat menghasilkan sampel artikel berita yang sulit dibedakan oleh penilai manusia dari artikel yang ditulis oleh manusia. Kami membahas dampak sosial yang lebih luas dari temuan ini dan dari GPT-3 secara umum.

Abstrak asli (bahasa Inggris)

Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. By contrast, humans can generally perform a new language task from only a few examples or from simple instructions - something which current NLP systems still largely struggle to do. Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches. Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting. For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model. GPT-3 achieves strong performance on many NLP datasets, including translation, question-answering, and cloze tasks, as well as several tasks that require on-the-fly reasoning or domain adaptation, such as unscrambling words, using a novel word in a sentence, or performing 3-digit arithmetic. At the same time, we also identify some datasets where GPT-3's few-shot learning still struggles, as well as some datasets where GPT-3 faces methodological issues related to training on large web corpora. Finally, we find that GPT-3 can generate samples of news articles which human evaluators have difficulty distinguishing from articles written by humans. We discuss broader societal impacts of this finding and of GPT-3 in general.

Panduan membaca

Masalah dan motivasi

Alur kerja standar pra-pelatihan plus fine-tuning memerlukan dataset berlabel spesifik tugas yang besar (biasanya ribuan hingga ratusan ribu contoh). Persyaratan ini membatasi penerapan umum, meningkatkan kerentanan terhadap korelasi palsu (spurious correlations), dan menyimpang dari pembelajaran manusia, yang beradaptasi dengan tugas baru hanya menggunakan instruksi atau demonstrasi minimal. Upaya sebelumnya pada in-context learning dengan model yang lebih kecil tertinggal jauh di belakang fine-tuning.

Ide-ide utama

In-Context Meta-Learning: Model memperoleh keterampilan pengenalan pola selama pra-pelatihan dan melakukan adaptasi tugas dalam ruang aktivasi selama forward pass pada waktu pengujian tanpa pembaruan gradien.
Spektrum Pengondisian (Spectrum of Conditioning): Tugas diuji di seluruh skenario zero-shot (hanya instruksi), one-shot (instruksi + satu demonstrasi), dan few-shot ( $K$ demonstrasi, biasanya 10 hingga 100 dalam jendela konteks 2048 token).
Skalabilitas yang Dapat Diprediksi (Predictable Scaling): Skalabilitas empiris hukum daya (power-law) dari validation loss menghasilkan peningkatan kapabilitas hilir yang berkelanjutan di 8 ukuran model (125M hingga 175B parameter).

Metode

GPT-3 menggunakan arsitektur transformer autoregresif yang sesuai dengan GPT-2, dengan menambahkan pola alternating dense dan locally banded sparse attention. Model dipra-latih pada 300 miliar token dengan ukuran konteks efektif sebesar $n_{ctx} = 2048$ .

Formulasi evaluasi utama meliputi:

Per-Token Completion Likelihood: Untuk dataset pilihan ganda, kandidat penyelesaian dievaluasi dengan membandingkan probabilitas token yang dinormalisasi.
Unconditional Normalization: Pada tolok ukur seperti ARC, OpenBookQA, dan RACE, likelihood model dinormalisasi terhadap baseline tanpa kondisi: $\frac{P ( completion ∣ context )}{P ( completion ∣ answer_context )}$ di mana $answer_context$ adalah prompt generik seperti "Answer: " atau "A: ".
Generation Decoding: Tugas penyelesaian bentuk bebas menggunakan beam search dengan lebar beam 4 dan penalti panjang $α = 0.6$ .

Hasil

Closed-Book QA: GPT-3 175B mencapai 71,2% few-shot pada TriviaQA (melampaui RAG open-domain yang di-fine-tune pada 68,0%), 41,5% pada WebQuestions, dan 29,9% pada Natural Questions.
Language Modeling & Cloze: Mencapai perplexity 20,5 pada PTB (zero-shot). Pada LAMBADA, membingkai tugas sebagai tes cloze menghasilkan akurasi few-shot 86,4% (18% di atas SOTA sebelumnya).
Penerjemahan: Menerjemahkan ke bahasa Inggris mencapai 39,2 BLEU (Fr $\to$ En), 40,6 BLEU (De $\to$ En), dan 39,5 BLEU (Ro $\to$ En), melampaui baseline NMT tanpa pengawasan sebelumnya.
Penalaran & Sintesis: Menyelesaikan penjumlahan 2 digit pada 100% dan penjumlahan 3 digit pada 80,4% dalam pengaturan few-shot. Menghasilkan artikel berita sintetis yang hanya dapat dibedakan dari artikel nyata oleh penilai manusia dengan akurasi 52% (mendekati peluang acak).

Keterbatasan dan pertanyaan terbuka

Tugas yang Lemah: Kesulitan dengan perbandingan antar-sekuens, terutama NLI (misalnya, ANLI, RTE) dan Word-in-Context (WiC pada 49,4%, mendekati peluang acak).
Keterbatasan Struktural: Pelatihan yang murni autoregresif mencegah pengondisian dua arah (bidirectional), yang merugikan tugas-tugas yang membutuhkan peninjauan balik atau pembacaan ulang seluruh sekuens.
Kontaminasi Data: Pengikisan web skala besar menyebabkan tumpang tindih antara data latih dan uji, sehingga memerlukan audit pemfilteran $n$ -gram post-hoc yang ekstensif (misalnya, pada Winograd dan PIQA).
Dampak Sosial: Pelatihan berskala internet menyerap bias gender, ras, dan agama yang signifikan, dan output yang dihasilkan dapat dimanfaatkan untuk pembuatan teks berbahaya.

Istilah kunci

in-context learning: Proses adaptasi inner-loop di mana model yang telah dipra-latih menyimpulkan dan menjalankan tugas pada waktu pengujian murni dari instruksi bahasa alami dan demonstrasi prompt tanpa pembaruan gradien.
few-shot: Pengaturan evaluasi di mana model menerima contoh demonstrasi sebanyak mungkin (biasanya 10 hingga 100) yang muat dalam jendela konteksnya bersama dengan deskripsi tugas.
one-shot: Kondisi evaluasi yang hanya menyediakan satu demonstrasi tugas yang dipasangkan dengan deskripsi tugas dalam bahasa alami.
zero-shot: Pengaturan evaluasi di mana model hanya menerima instruksi bahasa alami yang menjelaskan tugas, tanpa contoh demonstrasi apa pun.
closed-book question answering: Menjawab pertanyaan faktual yang semata-mata mengandalkan pengetahuan yang tersimpan dalam parameter model tanpa akses ke dokumen eksternal atau sistem retrieval pada waktu pengujian.
data contamination: Masuknya tolok ukur evaluasi hilir, set uji, atau set dev secara tidak sengaja ke dalam korpus pra-pelatihan berskala internet yang luas.
sparse attention: Modifikasi arsitektur yang menyelingi lapisan dense attention dengan pola locally banded sparse attention untuk menyeimbangkan efisiensi komputasi pada konteks panjang.
unconditional normalization: Membagi conditional completion likelihood dengan probabilitas penyelesaian yang hanya diberikan prompt generik, digunakan untuk menghilangkan bias panjang dan frekuensi pada tugas pilihan ganda.

Pertanyaan

Berapa banyak parameter yang dimiliki model GPT-3 lengkap dan bagaimana model tersebut dilatih?

GPT-3 memiliki 175 miliar parameter yang dapat dilatih di 96 lapisan, 96 attention head, dan dimensi tersembunyi sebesar 12.288. Model ini dilatih selama 300 miliar token pada Common Crawl yang difilter, WebText2, Books1, Books2, dan Wikipedia menggunakan Adam pada kluster GPU Microsoft V100.

Apakah GPT-3 menggunakan fine-tuning untuk tolok ukur hilir?

Tidak, semua hasil utama dalam makalah ini dievaluasi tanpa pembaruan gradien atau fine-tuning, murni mengandalkan prompt konteks zero-shot, one-shot, atau few-shot.

Seberapa mudah manusia mengidentifikasi artikel berita yang dibuat oleh GPT-3 175B?

Penilai manusia mencapai akurasi sekitar 52% dalam membedakan artikel berita pendek (~~200 kata) dan lebih panjang (~~500 kata) yang dihasilkan GPT-3 dari artikel tulisan manusia, yang hampir setara dengan peluang acak (50%).

Pada tugas apa GPT-3 paling mengalami kesulitan?

GPT-3 berkinerja buruk pada tugas natural language inference (misalnya, ANLI dan RTE), perbandingan dua arah seperti Word-in-Context (WiC, dengan skor 49,4%), dan tugas pemahaman bacaan tertentu seperti QuAC dan RACE.

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI