Constitutional AI: Harmlessness from AI Feedback

Panduan membaca

Masalah dan motivasi

Reinforcement Learning from Human Feedback (RLHF) standar menghadapi beberapa hambatan saat menyelaraskan (aligning) asisten bahasa:

• Ketergantungan yang tinggi pada label bahaya manusia: Mengumpulkan puluhan ribu perbandingan preferensi manusia untuk ketidakberbahayaan membutuhkan biaya besar dan memaparkan anotator manusia pada konten beracun.
• Sikap mengelak dan ketegangan dengan kegunaan: Model yang dilatih melalui RLHF sering kali belajar menjawab perintah sensitif dengan penolakan kaku seperti “Saya tidak bisa menjawab itu”, sehingga mengorbankan kegunaan dan transparansi.
• Opasitas: Ribuan label preferensi privat membuat tujuan penyelarasan yang tepat menjadi implisit dan sulit untuk diperiksa atau diaudit.

Constitutional AI (CAI) bertujuan untuk meningkatkan skala pengawasan (scaling supervision) dengan mengganti anotasi bahaya manusia dengan prinsip-prinsip bahasa alami yang eksplisit (sebuah konstitusi), melatih AI untuk melakukan kritik mandiri, merevisi, dan menghasilkan umpan balik preferensinya sendiri.

Ide-ide utama

• Konstitusi Berisi Prinsip-prinsip: Perilaku diarahkan sepenuhnya melalui sekumpulan kecil aturan berbahasa alami (sekitar 16 prinsip), bukan melalui label bahaya dari manusia.
• Pipeline Dua Tahap: Tahap Supervised Learning (SL) membawa keluaran model agar sesuai distribusi menggunakan kritik mandiri dan revisi, diikuti oleh tahap Reinforcement Learning from AI Feedback (RLAIF) yang melatih model preferensi pada perbandingan yang dievaluasi oleh model.
• Keterlibatan Alih-alih Mengelak: Asisten diarahkan untuk menjelaskan keberatan terhadap permintaan berbahaya alih-alih memberikan penolakan mentah-mentah.
• Pengawasan Chain-of-Thought (CoT): Memanfaatkan penalaran langkah demi langkah selama evaluasi secara substansial meningkatkan kemampuan model untuk mengidentifikasi bahaya dan mengevaluasi preferensi pilihan ganda.

Metode

1. Tahap Supervised Learning (Kritik $\to$ Revisi $\to$ SL-CAI)

1. Ambil sampel keluaran awal dari model RLHF yang bermanfaat menggunakan perintah red-teaming $x$.
2. Berikan instruksi (prompt) kepada model untuk mengkritik responsnya sendiri sesuai dengan prinsip konstitusional yang diambil secara acak: $$\text{Critique}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{CritiqueRequest})$$
3. Berikan instruksi kepada model untuk merevisi respons agar memenuhi kritik tersebut: $$y_{\text{revised}}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{Critique},\text{RevisionRequest})$$
4. Ulangi proses kritik-revisi secara iteratif (biasanya hingga 4 kali revisi).
5. Lakukan finetuning pada LM terlatih (pretrained) menggunakan respons yang telah direvisi yang dipasangkan dengan data demonstrasi kegunaan (182.831 perintah red team, 135.296 perintah kegunaan) selama satu epoch pada ukuran batch 1024.

2. Tahap Reinforcement Learning (RLAIF)

1. Menggunakan model SL-CAI, ambil sampel pasangan respons $(y_A,y_B)$ untuk perintah-perintah yang diberikan.
2. Sajikan percakapan, pasangan respons, dan prinsip yang dipilih kepada model umpan balik dalam format pilihan ganda (secara opsional menggunakan prompting Chain-of-Thought).
3. Hitung probabilitas target yang dinormalisasi dari logit penyelesaian model umpan balik: $$P(A)=\frac{e^{z_A}}{e^{z_A}+e^{z_B}}$$ Saat menggunakan Chain-of-Thought, probabilitas target dibatasi (clamped) ke rentang $[0,40,0,60]$ untuk menghindari rasa percaya diri berlebih (overconfidence).
4. Latih Model Preferensi (Preference Model/PM) menggunakan data campuran: 135.296 perbandingan kegunaan berlabel manusia dan 182.831 perbandingan ketidakberbahayaan yang dihasilkan AI.
5. Optimalkan kebijakan SL-CAI terhadap model preferensi ini melalui RL.

Hasil

• Peningkatan Pareto: Evaluasi crowdworker (berdasarkan 10.274 perbandingan kegunaan dan 8.135 perbandingan ketidakberbahayaan) menunjukkan bahwa model 52B RL-CAI mencapai skor Elo ketidakberbahayaan yang lebih unggul pada tingkat kegunaan yang setara dibandingkan dengan model yang dilatih menggunakan label ketidakberbahayaan manusia.
• Pengurangan Sikap Mengelak: Ketika crowdworker secara eksplisit diinstruksikan untuk lebih memilih penjelasan yang bijaksana daripada penolakan yang mengelak, model RL-CAI secara konsisten mengungguli model HH RLHF standar.
• Penskalaan Umpan Balik AI: Model yang lebih besar (52B) dengan penalaran Chain-of-Thought mendekati akurasi model yang dilatih dengan preferensi manusia pada tolok ukur evaluasi HHH (mencapai skor akurasi jauh di atas 80–90% pada identifikasi bahaya pilihan ganda biner).
• Kritik vs. Revisi Langsung: Kritik memberikan peningkatan nyata dalam skor ketidakberbahayaan untuk model yang lebih kecil, sementara kinerjanya sedikit lebih baik atau setara pada model 52B dibandingkan dengan revisi langsung.

Keterbatasan dan pertanyaan terbuka

• Ketergantungan pada Label Kegunaan Manusia: Eksperimen ini hanya mengeliminasi label umpan balik manusia untuk ketidakberbahayaan; data kegunaan masih bergantung pada label perbandingan manusia.
• Goodharting dan Optimasi Berlebih (Over-Optimization): Pelatihan RL yang diperpanjang terkadang menghasilkan bahasa yang menggurui atau klise (misalnya, berulang kali menyatakan “Anda valid, dihargai, dan diperhatikan”).
• Kalibrasi Target CoT: Karena penalaran Chain-of-Thought menyebabkan model sangat condong ke salah satu pilihan, pembatasan probabilitas (probability clamping) diperlukan sebagai heuristik untuk menjaga stabilitas model preferensi.
• Kekhawatiran Penggunaan Ganda (Dual-Use): Menurunkan hambatan anotasi untuk mengarahkan model bahasa juga mempermudah pelatihan model menuju tujuan yang berbahaya tanpa pengawasan manusia.