Laporan Teknis GPT-4

Panduan membaca

Masalah dan motivasi

Model bahasa besar (LLM) menunjukkan potensi menjanjikan di seluruh pemrosesan bahasa alami, tetapi iterasi sebelumnya (seperti GPT-3.5) menunjukkan kelemahan nyata dalam penalaran kompleks, keandalan, presisi faktual, dan keamanan. Selain itu, pelatihan model garis depan yang sangat besar membutuhkan anggaran komputasi yang sangat besar, di mana penyesuaian hiperparameter standar pada skala akhir tidak mungkin dilakukan. Tujuan dari GPT-4 adalah membangun model multimodal berskala besar yang mampu memproses campuran masukan gambar dan teks arbitrer sambil mempertahankan perilaku penskalaan yang dapat diprediksi serta keamanan dan penyelarasan yang ditingkatkan secara drastis.

Ide-ide kunci

• Penskalaan yang Terprediksi: Alur kerja optimasi dan arsitektur dapat distabilkan sehingga loss pengujian akhir dan tolok ukur pengkodean hilir (seperti tingkat kelulusan HumanEval) dapat diekstrapolasi secara andal dari model-model yang lebih kecil yang dilatih menggunakan komputasi $1.000\times$ hingga $10.000\times$ lebih sedikit.
• Pemahaman Multimodal: GPT-4 menerima gambar dan teks yang disisipkan secara arbitrer, melakukan penalaran kompleks pada bagan, diagram, pertanyaan ujian, dan humor visual tanpa menurunkan performa pada tolok ukur bahasa murni.
• Dominasi Prapelatihan dengan Pascapelatihan Terarah: Prapelatihan model dasar menyediakan penalaran inti dan pengetahuan ujian (dengan rata-rata pilihan ganda model dasar dan RLHF pada dasarnya setara pada 73,7% vs. 74,0%), sementara RLHF dan pemeriksaan berbasis aturan mengarahkan keamanan, pemformatan, dan faktualitas.
• Rule-Based Reward Models (RBRM): Penyelarasan bergantung pada pengklasifikasi keamanan berbantuan model yang memberikan reward tambahan terarah selama RLHF untuk mengarahkan penolakan yang tepat terhadap perintah terlarang dan mengurangi keragu-raguan berlebih (over-hedging) pada perintah yang aman.

Metode (dengan persamaan-persamaan kunci)

GPT-4 adalah model autoregresif berbasis Transformer yang dilatih sebelumnya untuk memprediksi token berikutnya pada data web yang tersedia untuk umum dan data berlisensi, diikuti oleh Reinforcement Learning from Human Feedback (RLHF).

1. Ekstrapolasi Hukum Penskalaan

Untuk memastikan prediktabilitas infrastruktur tanpa penyesuaian empiris pada putaran utama, loss akhir pada token kode internal diprediksi menggunakan formulasi loss yang tidak dapat direduksi (irreducible loss): $$L(C)=a{C}^b+c$$ di mana $C$ menunjukkan komputasi ternormalisasi, dan $a,b,c$ adalah parameter yang dicocokkan dari putaran pelatihan yang menggunakan komputasi hingga $10.000\times$ lebih sedikit.

Untuk penskalaan kemampuan hilir pada HumanEval, rata-rata log tingkat kelulusan di seluruh subset masalah $P$ dimodelkan melalui: $$-{\mathbb{E}}_P[\log (pass\_rate(C))]=\alpha \cdot C^{-k}$$ yang memungkinkan registrasi prapelatihan dari kinerja pengkodean fungsional.

2. Alur Kerja Keamanan Berbantuan Model

Bersamaan dengan umpan balik manusia, optimasi RLHF menggabungkan Rule-Based Reward Models (RBRM). RBRM adalah pengklasifikasi zero-shot GPT-4 yang menerima:

• Perintah pengguna (opsional),
• Pelengkapan model kebijakan (policy model completion),
• Rubrik buatan manusia (rubrik multikelas yang mengklasifikasikan respons ke dalam kategori seperti penolakan yang diinginkan, penolakan yang mengelak/bertele-tele, jawaban yang aman, atau konten terlarang).

Bobot RBRM yang optimal memberikan sinyal reward otomatis untuk melatih model kebijakan agar menolak permintaan berbahaya (misalnya, ancaman CBRN, serangan siber) sambil tetap melayani permintaan jinak pada topik sensitif terkait secara andal.

Hasil (dengan angka-angka terpenting)

• Ujian Profesional & Akademis: GPT-4 mencetak 298/400 (persentil ke-90) pada Uniform Bar Examination (dibandingkan dengan 213/400, ~persentil ke-10 untuk GPT-3.5). Pada LSAT, ia meraih skor 163 (persentil ke-88), dan memperoleh skor 5 pada AP Biology, AP Calculus BC (4), AP Chemistry (4), dan AP Art History (5).
• Tolok Ukur NLP Akademis: GPT-4 menetapkan rekor baru state-of-the-art pada MMLU 5-shot (86,4% vs. 70,0% untuk GPT-3.5), HellaSwag 10-shot (95,3%), ARC Challenge 25-shot (96,3%), dan HumanEval 0-shot (67,0%). Pada GSM-8K 5-shot chain-of-thought, ia mencapai 92,0%.
• Kemampuan Multibahasa: Versi terjemahan dari MMLU di 26 bahasa menunjukkan GPT-4 mengungguli baseline bahasa Inggris dari GPT-3.5 dan PaLM di 24 bahasa, termasuk bahasa dengan sumber daya rendah seperti Latvia (85,5%), Wales (71,4%), dan Swahili (82,6%).
• Keamanan & Faktualitas: GPT-4 mencetak skor 19 poin persentase lebih tinggi daripada GPT-3.5 terbaru pada evaluasi faktualitas internal. Tingkat respons terlarang turun sebesar 82%, kepatuhan permintaan sensitif meningkat sebesar 29%, dan pembuatan toksisitas pada RealToxicityPrompts anjlok dari 6,48% (GPT-3.5) menjadi 0,73%.

Keterbatasan dan pertanyaan terbuka

• Halusinasi & Kalibrasi: Terlepas dari pengurangan kesalahan faktual, GPT-4 masih memunculkan halusinasi fakta dan melakukan kekeliruan penalaran mendasar. Meskipun model dasar prapelatihan menunjukkan kalibrasi yang hampir sempurna, pascapelatihan RLHF merusak kalibrasi secara signifikan, membuat model yang telah diselaraskan menjadi salah dengan tingkat keyakinan yang tinggi (confidently incorrect).
• Batas Waktu Pengetahuan Temporal: Sebagian besar data prapelatihan terputus pada September 2021; model tidak memperbarui kondisi dunianya secara terus-menerus atau belajar dari interaksi penerapan yang sedang berjalan.
• Penskalaan Terbalik & Jailbreak: Pola-pola kontraintuitif tertentu hanya berbalik pada skala besar (misalnya, Hindsight Neglect), tetapi kerentanan terhadap adversarial prompting, manipulasi pesan sistem, dan jailbreak multitahap masih tetap ada.
• Kurangnya Transparansi Arsitektur: Karena pertimbangan kompetitif dan keamanan, spesifikasi arsitektur (jumlah parameter, desain MoE, ukuran set data, perangkat keras, dan komputasi persisnya) tidak diungkapkan.