Chain-of-Thought Prompting Memunculkan Kemampuan Penalaran pada Model Bahasa Besar

Panduan membaca

Masalah dan motivasi

Standard few-shot prompting memberikan contoh input–output kepada model bahasa, memungkinkan kinerja yang kuat pada banyak tugas tanya-jawab langsung. Namun, pada tugas penalaran multi-langkah—seperti aritmetika tingkat sekolah dasar, pertanyaan akal sehat multi-hop, dan manipulasi simbolik—sekadar meningkatkan ukuran model di bawah prompting standar sering kali menghasilkan kurva penskalaan yang mendatar serta kinerja yang buruk. Pendekatan terdahulu yang berupaya menyelesaikan masalah multi-langkah bergantung pada pelatihan/fine-tuning model penjelas (rationale) khusus (yang membutuhkan data rationale terawasi dalam jumlah besar dan berbiaya mahal) atau representasi neuro-simbolik formal. Makalah ini menyelidiki apakah model bahasa serbaguna dapat mengeksekusi penalaran multi-langkah sepenuhnya secara in-context tanpa pembaruan parameter apa pun.

Gagasan utama

• Dekomposisi Chain-of-Thought: Manusia menguraikan masalah kompleks menjadi langkah-langkah penalaran berurutan sebelum memberikan jawaban. Model bahasa dapat meniru perilaku ini ketika dipandu oleh demonstrasi in-context yang terstruktur sebagai triplet: $⟨\text{input},\text{chain of thought},\text{output}⟩$.
• Kemunculan pada Skala Besar (Emergence at Scale): Chain-of-thought (CoT) prompting tidak memberikan peningkatan yang berarti—dan sering kali menurunkan kinerja—pada model kecil ($<10\text{B}$ parameter). Kemampuan ini muncul secara efektif hanya pada model dengan $\sim 100\text{B}$ parameter atau lebih.
• Komputasi Perantara Variabel (Variable Intermediate Computation): Menghasilkan token bahasa alami memungkinkan model mengalokasikan komputasi tambahan secara dinamis (melalui pembuatan token autoregresif) untuk masalah multi-langkah yang lebih sulit, yang tidak dapat dilakukan oleh prediksi jawaban langsung.

Metode (dengan persamaan utama)

Metode ini memodifikasi paradigma few-shot prompting. Alih-alih memberikan prompt dengan pasangan input–output $(x_i,y_i)$: $${\mathcal{P}}_{\text{standard}}=\{(x_1,y_1),(x_2,y_2),\dots ,(x_k,y_k)\}$$ di mana model langsung menghitung $P(y\mid x,{\mathcal{P}}_{\text{standard}})$, chain-of-thought prompting menyisipkan rantai penalaran bahasa alami $c_i=(c_{i,1},c_{i,2},\dots ,c_{i,m})$ sebelum jawaban akhir: $${\mathcal{P}}_{\text{CoT}}=\{(x_1,c_1,y_1),(x_2,c_2,y_2),\dots ,(x_k,c_k,y_k)\}$$ Pada saat inferensi untuk input uji $x$, model menghasilkan rantai penalaran dan jawaban secara autoregresif: $$P(c,y\mid x,{\mathcal{P}}_{\text{CoT}})=\prod _{t=1}^{|c|}P(c_t\mid x,{\mathcal{P}}_{\text{CoT}},c_{<t})\prod _{j=1}^{|y|}P(y_j\mid x,{\mathcal{P}}_{\text{CoT}},c,y_{<j})$$ Untuk benchmark aritmetika, penulis juga mengevaluasi ekstensi kalkulator eksternal post-hoc: persamaan matematika yang dihasilkan di dalam $c$ dievaluasi menggunakan eval pada Python, kemudian menyebarkan hasilnya ke depan melalui pencocokan string untuk mencegah kesalahan kalkulasi aritmetika.

Hasil (dengan angka-angka terpenting)

• Penalaran Aritmetika (GSM8K): Pada GSM8K, prompting standar pada PaLM 540B memperoleh 17,9%, sedangkan 8-shot CoT prompting memperoleh 56,9% (dan 58,6% dengan kalkulator eksternal), melampaui hasil terawasi terbaik sebelumnya sebesar 55% dari GPT-3 175B yang di-finetune dengan verifier. Codex mencapai 63,1% (65,4% dengan kalkulator).
• Benchmark Matematika Lainnya: PaLM 540B mencapai 79,0% pada SVAMP (vs. 69,4% standar), 73,9% pada ASDiv (vs. 72,1% standar), 35,8% pada AQuA (vs. 25,2% standar), dan 93,3% pada MAWPS (vs. 79,2% standar).
• Penalaran Akal Sehat (Commonsense Reasoning): PaLM 540B CoT mencetak rekor state-of-the-art baru pada StrategyQA dengan 75,6% (vs. 68,6% standar dan 69,4% terbaik terawasi sebelumnya) serta melampaui penggemar olahraga manusia pada Sports Understanding (95,4% vs. 84,0%).
• Manipulasi Simbolik & Generalisasi Panjang: Pada konkatenasi huruf terakhir, PaLM 540B meningkat dari 7,6% (standar) menjadi 99,4% (CoT) secara in-domain (2 kata). Saat diuji out-of-domain pada 4 kata, prompting standar merosot ke 0,0%, sedangkan CoT mempertahankan akurasi 63,0%.
• Ablasi: Uji ablasi pada LaMDA 137B menegaskan bahwa prompting "hanya persamaan" (5,4% pada GSM8K), "hanya komputasi variabel" menggunakan titik-titik (6,4%), dan "penalaran setelah jawaban" (6,1%) gagal menandingi CoT prompting standar (14,3%), membuktikan bahwa langkah-langkah bahasa alami perantara sebelum jawaban bersifat esensial.

Keterbatasan dan pertanyaan terbuka

• Tidak Dijamin Menalar Secara Faktual: Rantai yang dihasilkan bisa tidak setia pada fakta (unfaithful), cacat secara semantik, atau berhalusinasi, terkadang sampai pada jawaban yang benar hanya karena kebetulan (terutama dalam format biner atau pilihan ganda).
• Batasan Skala Model: Teknik ini membutuhkan biaya komputasi yang mahal untuk disajikan di lingkungan produksi karena memerlukan model berukuran $\sim 100\text{B}+$ parameter agar dapat bekerja secara andal.
• Pertanyaan Terbuka tentang Penalaran Sejati: Makalah ini mencatat bahwa meniru pemikiran manusia tidak membuktikan bahwa representasi neural yang mendasarinya benar-benar mengeksekusi penalaran formal.