Training language models to follow instructions with human feedback

Long Ouyang; Jeff Wu; Xu Jiang; Diogo Almeida; Carroll L. Wainwright; Pamela Mishkin; Chong Zhang; Sandhini Agarwal; Katarina Slama; Alex Ray; John Schulman; Jacob Hilton; Fraser Kelton; Luke Miller; Maddie Simens; Amanda Askell; Peter Welinder; Paul Christiano; Jan Leike; Ryan Lowe

Makalah · arXiv 2203.02155

Melatih model bahasa untuk mengikuti instruksi dengan umpan balik manusia

Training language models to follow instructions with human feedback

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton et al.

Terbit 2022-03-04cs.CLcs.AIcs.LG arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

Model bahasa besar yang hanya dilatih pada prediksi token berikutnya sering kali gagal mengikuti intensi pengguna, menghasilkan jawaban yang beracun, tidak benar, atau tidak membantu.
Melakukan fine-tuning GPT-3 menggunakan demonstrasi manusia terbimbing, melatih reward model 6B pada keluaran yang diperingkatkan, dan mengoptimalkan kebijakan via PPO dengan campuran data pra-pelatihan.
Keluaran dari InstructGPT 1,3B lebih disukai daripada GPT-3 175B, sementara InstructGPT 175B unggul melawan GPT-3 175B sebanyak 85% dari pengujian dan memangkas halusinasi dari 41% menjadi 21%.

Abstrak

Memperbesar ukuran model bahasa tidak serta-merta membuatnya lebih baik dalam mengikuti intensi pengguna. Sebagai contoh, model bahasa besar dapat menghasilkan keluaran yang tidak benar, beracun, atau sama sekali tidak membantu pengguna. Dengan kata lain, model-model ini tidak selaras dengan penggunanya. Dalam makalah ini, kami menunjukkan sebuah jalan untuk menyelaraskan model bahasa dengan intensi pengguna pada berbagai macam tugas melalui penyesuaian (fine-tuning) dengan umpan balik manusia. Berawal dari sekumpulan prompt yang ditulis oleh pelabel dan prompt yang dikirimkan melalui OpenAI API, kami mengumpulkan dataset demonstrasi dari pelabel mengenai perilaku model yang diinginkan, yang kami gunakan untuk melakukan fine-tuning pada GPT-3 menggunakan supervised learning. Kami kemudian mengumpulkan dataset peringkat dari keluaran model, yang kami gunakan untuk melakukan fine-tuning lebih lanjut pada model terarah ini menggunakan reinforcement learning from human feedback. Kami menyebut model yang dihasilkan sebagai InstructGPT. Dalam evaluasi manusia pada distribusi prompt kami, keluaran dari model InstructGPT dengan 1,3B parameter lebih disukai daripada keluaran dari GPT-3 175B, meskipun memiliki parameter 100 kali lebih sedikit. Selain itu, model InstructGPT menunjukkan peningkatan dalam hal kebenaran faktual dan penurunan dalam pembuatan keluaran beracun, dengan penurunan performa yang minimal pada dataset NLP publik. Meskipun InstructGPT masih membuat kesalahan sederhana, hasil kami menunjukkan bahwa fine-tuning dengan umpan balik manusia adalah arah yang menjanjikan untuk menyelaraskan model bahasa dengan intensi manusia.

Abstrak asli (bahasa Inggris)

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

Panduan membaca

Masalah dan motivasi

Model bahasa besar (LLM) standar mengoptimalkan prediksi token berikutnya pada korpus web. Tujuan pra-pelatihan ini tidak selaras dengan tujuan pengguna yang menginginkan asisten untuk mengikuti instruksi secara bermanfaat, jujur, dan tidak berbahaya. Akibatnya, model baseline seperti GPT-3 sering kali menghalusinasikan fakta, mengarang konteks palsu, mencerminkan teks beracun, atau mengabaikan batasan eksplisit dari pengguna. Menambah parameter model saja tidak serta-merta menghilangkan masalah-masalah ini.

Ide-ide utama

Penyelarasan melalui Reinforcement Learning from Human Feedback (RLHF): Menggunakan penilaian manusia untuk membentuk keluaran model agar sesuai dengan intensi pengguna, bukan sekadar probabilitas kelanjutan teks mentah.
Alur Pelatihan Tiga Langkah: (1) Supervised fine-tuning (SFT) pada pasangan prompt-demonstrasi, (2) Pelatihan Reward Model (RM) pada perbandingan berpasangan atas penyelesaian yang diperingkatkan, dan (3) Optimasi kebijakan menggunakan Proximal Policy Optimization (PPO).
Mitigasi Alignment Tax: Fine-tuning PPO standar menyebabkan penurunan performa pada tolok ukur NLP standar (misalnya SQuADv2, DROP). Mencampurkan gradien distribusi pra-pelatihan ke dalam pembaruan PPO (PPO-ptx) memitigasi hilangnya kapabilitas ini tanpa mengorbankan peningkatan preferensi manusia.

Metode (dengan persamaan-persamaan kunci)

Supervised Fine-Tuning (SFT): Melakukan fine-tuning pada model dasar GPT-3 menggunakan sekitar 13 ribu demonstrasi prompt yang ditulis oleh pelabel dan dikirimkan melalui OpenAI API Playground.
Pelatihan Reward Model: Untuk setiap prompt $x$ , pelabel memberi peringkat pada $K$ penyelesaian ( $K \in [4, 9]$ ), menghasilkan $(2 K)$ perbandingan. Reward model 6B $r_{θ} (x, y)$ dilatih dengan pairwise cross-entropy loss pada seluruh pasangan dalam satu elemen batch: $loss (θ) = - \frac{1}{( 2 K )} E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$ di mana $y_{w}$ adalah penyelesaian yang lebih disukai dibandingkan $y_{l}$ .
Optimasi Kebijakan RL (PPO-ptx): Mengoptimalkan kebijakan $π_{ϕ}^{RL}$ terhadap reward skalar sembari menghukum deviasi dari model SFT melalui KL divergence tingkat token, dan secara opsional mempertahankan log-likelihood pra-pelatihan: $objective (ϕ) = E_{(x, y) \sim D_{π_{ϕ}^{RL}}} [r_{θ} (x, y) - β lo g (\frac{π _{ϕ}^{RL} ( y ∣ x )}{π ^{SFT} ( y ∣ x )})] + γ E_{x \sim D_{pretrain}} [lo g π_{ϕ}^{RL} (x)]$ Di sini $β$ adalah koefisien penalti KL dan $γ$ mengatur rasio pencampuran gradien pra-pelatihan.

Hasil (dengan angka-angka terpenting)

Preferensi Manusia: Pelabel lebih menyukai keluaran dari model InstructGPT 1,3B daripada keluaran dari GPT-3 175B dasar (perbedaan parameter 100 kali lipat). Keluaran dari InstructGPT 175B lebih disukai daripada GPT-3 175B sebesar $85 \pm 3%$ dari waktu pengujian, dan $71 \pm 4%$ jika dibandingkan dengan GPT-3 175B dengan few-shot prompt.
Kebenaran Faktual dan Halusinasi: Pada TruthfulQA, InstructGPT menghasilkan keluaran yang benar dan informatif kira-kira dua kali lebih sering dibandingkan GPT-3. Pada tugas API ranah tertutup (closed-domain), tingkat halusinasi menurun dari 41% (GPT-3) menjadi 21% (InstructGPT).
Toksisitas: InstructGPT menghasilkan sekitar 25% lebih sedikit keluaran beracun dibandingkan GPT-3 pada RealToxicityPrompts ketika diinstruksikan untuk bersikap sopan.
Generalisasi: InstructGPT secara andal dapat digeneralisasi ke pelabel penguji independen ( $77.3%$ kesepakatan) dan instruksi di luar distribusi seperti QA kode/peringkasan serta instruksi non-Inggris, meskipun bahasa Inggris mencakup lebih dari 96% data pelatihan.

Batasan dan pertanyaan terbuka

Kompromi Keamanan dan Penyelarasan: InstructGPT terutama memprioritaskan kepatuhan terhadap instruksi pengguna selama pelatihan; jika diminta untuk berbuat jahat atau bias, model akan tetap mengikuti instruksi tersebut secara efektif.
Kesalahan Sederhana: Model masih dapat berhalusinasi, bisa bersikap terlalu ragu-ragu karena pengkondisian kerendahan hati epistemik, serta kesulitan menghadapi premis palsu atau banyak batasan yang kompleks sekaligus.
Keterwakilan: Fine-tuning bergantung pada umpan balik kontraktor (sekitar 40 pelabel yang direkrut) dan kueri pelanggan API Playground, yang belum tentu mewakili spektrum pengguna akhir secara luas.

Istilah kunci

RLHF: Reinforcement Learning from Human Feedback; sebuah metode yang melatih reward model dari preferensi manusia dan melakukan fine-tuning terhadap kebijakan via reinforcement learning.
InstructGPT: Keluarga model GPT-3 yang di-fine-tune dengan demonstrasi terarah dan RLHF untuk mengikuti instruksi bahasa alami.
Alignment tax: Penurunan performa yang diamati pada tolok ukur NLP standar (seperti DROP atau SQuAD) saat menyelaraskan model bahasa dengan preferensi manusia.
PPO-ptx: Varian PPO yang mencampurkan gradien dari data pra-pelatihan ke dalam fungsi tujuan fine-tuning RL untuk mempertahankan kapabilitas tolok ukur.
Reward Model (RM): Model yang dilatih untuk memberikan skor skalar pada pasangan prompt-penyelesaian, memprediksi preferensi manusia terhadap penyelesaian alternatif.
Supervised fine-tuning (SFT): Langkah pertama dari alur penyelarasan di mana model bahasa dasar di-fine-tune pada pasangan prompt-demonstrasi yang ditulis oleh manusia.
Hallucination: Kondisi saat model bahasa mengarang informasi tanpa dasar atau palsu pada tugas ranah tertutup seperti peringkasan atau tanya jawab.

Pertanyaan

Mengapa InstructGPT 1,3B dapat mengungguli GPT-3 175B dalam penilaian manusia?

GPT-3 dasar dioptimalkan untuk memprediksi token berikutnya di seluruh teks web tanpa filter, sehingga sering kali mengabaikan instruksi atau mengulang konteks. InstructGPT dioptimalkan secara eksplisit menggunakan sinyal preferensi manusia untuk menghasilkan jawaban yang bermanfaat dan langsung, menjembatani celah antara kapabilitas parameter murni dan intensi tugas.

Bagaimana makalah ini mengatasi alignment tax?

Dengan menyertakan suku pembaruan pra-pelatihan ke dalam fungsi tujuan pelatihan PPO (PPO-ptx), yaitu mengalikan gradien pra-pelatihan dengan koefisien $γ = 27.8$ . Hal ini mencegah penurunan performa pada dataset publik seperti SQuAD dan DROP tanpa mengorbankan keunggulan preferensi manusia.

Bagaimana reward model dilatih pada keluaran yang diperingkatkan?

Pelabel mengurutkan peringkat $K$ penyelesaian ( $K$ antara 4 dan 9) untuk setiap prompt. Reward model 6B dilatih pada semua $(2 K)$ pasangan secara simultan dalam satu elemen batch, mengurangi forward pass dan mencegah overfitting.

Apakah InstructGPT mengurangi bias demografis?

Tidak. Ketika diukur pada Winogender dan CrowS-Pairs, InstructGPT tidak menunjukkan pengurangan bias yang signifikan dibandingkan GPT-3 dasar, dan prompt yang mengarahkan untuk bersikap sopan terkadang menurunkan entropi (meningkatkan bias terukur).

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI