XYZNOT

Makaleler · arXiv 2212.08073

Constitutional AI: Harmlessness from AI Feedback

Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson et al.

Yayımlanma cs.CLcs.AI arXivPDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

  1. 🎯 Standart RLHF büyük ölçüde insan zarar etiketlerine dayanır ve sıklıkla hassas sorguları kestirip atan kaçamak asistanlar üretir.
  2. 🔧 Constitutional AI; otomatik öz-eleştirileri, revizyonları ve yapay zeka geri bildirimiyle pekiştirmeli öğrenmeyi (RLAIF) yönlendirmek için doğal dilde yazılmış kurallar listesini kullanır.
  3. 📈 Ortaya çıkan RL-CAI modelleri, yardımseverliği korurken kaçamak yanıtlar vermeden zararsızlık konusunda insan geri bildirimiyle eğitilmiş modellerle yarışır veya onları geride bırakır.

Özet

Yapay zeka sistemleri daha yetkin hale geldikçe, diğer yapay zekaları denetlemek için onların yardımından yararlanmak istiyoruz. Zararlı çıktıları belirleyen herhangi bir insan etiketi olmaksızın, kendi kendini geliştirme yoluyla zararsız bir yapay zeka asistanı eğitme yöntemlerini deniyoruz. Tek insan denetimi bir kurallar veya ilkeler listesi aracılığıyla sağlanır; bu nedenle bu yöntemi 'Constitutional AI' (Anayasal YZ) olarak adlandırıyoruz. Süreç hem gözetimli öğrenme hem de pekiştirmeli öğrenme aşamalarını içerir. Gözetimli aşamada başlangıç modelinden örnekleme yapar, ardından öz-eleştiriler ve revizyonlar üretir ve orijinal modeli revize edilmiş yanıtlar üzerinde ince ayardan geçiririz. RL aşamasında, ince ayar yapılmış modelden örnekleme yapar, iki örnekten hangisinin daha iyi olduğunu değerlendirmek için bir model kullanır ve bu yapay zeka tercihleri veri kümesinden bir tercih modeli eğitiriz. Daha sonra bu tercih modelini ödül sinyali olarak kullanarak RL ile eğitim yaparız; yani 'AI Geri Bildiriminden Pekiştirmeli Öğrenme' (RLAIF) yöntemini kullanırız. Sonuç olarak, zararlı sorgulara neden karşı çıktığını açıklayarak yanıt veren, zararsız ancak kaçamak davranmayan bir yapay zeka asistanı eğitebiliyoruz. Hem SL hem de RL yöntemleri, insanlar tarafından değerlendirilen performansı ve YZ karar alma süreçlerinin şeffaflığını artırmak için düşünce zinciri (chain-of-thought) tarzı akıl yürütmeden yararlanabilir. Bu yöntemler, yapay zeka davranışını çok daha az insan etiketiyle ve daha kesin bir şekilde kontrol etmeyi mümkün kılar.

Orijinal özet (İngilizce)

As AI systems become more capable, we would like to enlist their help to supervise other AIs. We experiment with methods for training a harmless AI assistant through self-improvement, without any human labels identifying harmful outputs. The only human oversight is provided through a list of rules or principles, and so we refer to the method as 'Constitutional AI'. The process involves both a supervised learning and a reinforcement learning phase. In the supervised phase we sample from an initial model, then generate self-critiques and revisions, and then finetune the original model on revised responses. In the RL phase, we sample from the finetuned model, use a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. We then train with RL using the preference model as the reward signal, i.e. we use 'RL from AI Feedback' (RLAIF). As a result we are able to train a harmless but non-evasive AI assistant that engages with harmful queries by explaining its objections to them. Both the SL and RL methods can leverage chain-of-thought style reasoning to improve the human-judged performance and transparency of AI decision making. These methods make it possible to control AI behavior more precisely and with far fewer human labels.

Okuma rehberi

Problem ve Motivasyon

Standart İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF), dil asistanlarını hizalarken çeşitli darboğazlarla karşılaşır:

  • İnsan zarar etiketlerine aşırı bağımlılık: Zararlılık tespiti için on binlerce insan tercihi karşılaştırması toplamak maliyetlidir ve insan etiketleyicileri toksik içeriğe maruz bırakır.
  • Kaçamaklık ve yardımseverlikle olan çelişki: RLHF ile eğitilen modeller genellikle hassas istemlere “Buna cevap veremem” gibi klişe retlerle yanıt vermeyi öğrenerek yardımseverlikten ve şeffaflıktan ödün verir.
  • Opaklık: Binlerce özel tercih etiketi, asıl hizalama hedeflerini örtük hale getirir; bu hedeflerin incelenmesini veya denetlenmesini zorlaştırır.

Constitutional AI (CAI), insan zarar etiketlerinin yerine açık ve doğal dilde yazılmış ilkeler (bir anayasa) koyarak denetimi ölçeklendirmeyi amaçlar; böylece bir yapay zekayı kendi kendini eleştirmesi, revize etmesi ve kendi tercih geri bildirimini üretmesi için eğitir.

Temel Fikirler

  • İlkelerden Oluşan Bir Anayasa: Davranışlar, insan zarar etiketleri yerine tamamen küçük bir doğal dil kuralları kümesi (yaklaşık 16 ilke) aracılığıyla yönlendirilir.
  • İki Aşamalı İşlem Hattı: Bir Gözetimli Öğrenme (SL) aşaması, öz-eleştiriler ve revizyonlar kullanarak model çıktılarını dağılım içine çeker; ardından gelen Yapay Zeka Geri Bildiriminden Pekiştirmeli Öğrenme (RLAIF) aşaması, model tarafından değerlendirilen karşılaştırmalar üzerinde bir tercih modeli eğitir.
  • Kaçınma Yerine Etkileşim Kurma: Asistan, toptan ret yanıtları vermek yerine zararlı taleplere yönelik itirazlarını açıklayacak şekilde yönlendirilir.
  • Düşünce Zinciri (CoT) ile Denetim: Değerlendirme sırasında adım adım akıl yürütmeden yararlanmak, modelin zararları tespit etme ve çoktan seçmeli tercihleri değerlendirme yeteneğini önemli ölçüde artırır.

Yöntem

1. Gözetimli Öğrenme Aşaması (Eleştiri Revizyon SL-CAI)

  1. Bir red-teaming istemi kullanarak yardımsever bir RLHF modelinden ilk çıktıyı örnekleyin.
  2. Modelden, rastgele seçilen bir anayasal ilkeye göre kendi yanıtını eleştirmesini isteyin:
  3. Modelden, eleştiriyi karşılayacak şekilde yanıtı revize etmesini isteyin:
  4. Eleştiri-revizyon adımını yinelemeli olarak tekrarlayın (genellikle 4 revizyona kadar).
  5. Önceden eğitilmiş bir LM'yi, revize edilmiş yanıtlar ve yardımseverlik gösterim verileriyle (182.831 red team istemi, 135.296 yardımseverlik istemi) eşleştirerek 1024 toplu iş (batch) boyutunda bir dönem (epoch) boyunca ince ayardan geçirin.

2. Pekiştirmeli Öğrenme Aşaması (RLAIF)

  1. SL-CAI modelini kullanarak istemler için yanıt çiftleri örnekleyin.
  2. Konuşmayı, yanıt çiftini ve seçilen bir ilkeyi çoktan seçmeli bir formatta (isteğe bağlı olarak Chain-of-Thought istemiyle) bir geri bildirim modeline sunun.
  3. Geri bildirim modelinin tamamlama logit'lerinden normalize edilmiş hedef olasılıkları hesaplayın: Chain-of-Thought kullanıldığında, aşırı güveni önlemek için hedef olasılıklar aralığına kırpılır (clamping).
  4. Karışık verileri kullanarak bir Tercih Modeli (PM) eğitin: 135.296 insan etiketli yardımseverlik karşılaştırması ve 182.831 yapay zeka tarafından üretilen zararsızlık karşılaştırması.
  5. SL-CAI politikasını bu tercih modeline karşı RL yoluyla optimize edin.

Sonuçlar

  • Pareto İyileştirmeleri: Kitle kaynaklı değerlendirmeler (10.274 yardımseverlik ve 8.135 zararsızlık karşılaştırmasına dayalı), 52B RL-CAI modellerinin, insan zararsızlık etiketleriyle eğitilen modellere kıyasla eşdeğer yardımseverlikte daha üstün zararsızlık Elo puanları elde ettiğini göstermektedir.
  • Azalan Kaçamaklık: Değerlendiricilere kaçamak retler yerine düşünceli açıklamaları tercih etmeleri açıkça söylendiğinde, RL-CAI modelleri standart HH RLHF modellerinden tutarlı bir şekilde daha iyi performans gösterdi.
  • YZ Geri Bildiriminin Ölçeklenmesi: Chain-of-Thought akıl yürütmesine sahip daha büyük modeller (52B), HHH değerlendirme karşılaştırmalarında insan tercihiyle eğitilmiş modellerin doğruluğuna yaklaştı (ikili çoktan seçmeli zarar tespitinde %80-90'ın üzerinde doğruluk sağladı).
  • Eleştiriler ve Doğrudan Revizyonlar: Eleştiriler, daha küçük modeller için zararsızlık puanlarında belirgin iyileşmeler sağlarken, 52B modellerde doğrudan revizyona kıyasla biraz daha iyi veya eşdeğer bir performans sergiledi.

Sınırlılıklar ve Açık Sorular

  • İnsan Yardımseverlik Etiketlerine Bağımlılık: Deneyler yalnızca zararsızlık için insan geri bildirimi etiketlerini ortadan kaldırmıştır; yardımseverlik verileri hala insan karşılaştırma etiketlerine dayanmaktadır.
  • Goodhart Kanunu ve Aşırı Optimizasyon: Uzatılmış RL eğitimi bazen vaaz verir gibi veya basmakalıp ifadeler üretti (örneğin, sürekli “Değerlisiniz, önemlisiniz ve önemseniyorsunuz” demek gibi).
  • CoT Hedeflerinin Kalibrasyonu: Chain-of-Thought akıl yürütmesi modelin güçlü bir şekilde tek bir seçeneği tercih etmesine neden olduğundan, tercih modelinin kararlılığını korumak için bir sezgisel yöntem olarak olasılık kırpma (probability clamping) gerekli oldu.
  • Çift Kullanım (Dual-Use) Endişeleri: Dil modellerini yönlendirmek için etiketleme engelini düşürmek, insan denetimi olmadan modelleri zararlı hedeflere doğru eğitmeyi de kolaylaştırır.

Temel terimler

Constitutional AI (CAI)
Dil modellerini insan zarar etiketleri yerine açık bir doğal dil ilkeleri kümesiyle yönlendirilen öz-geliştirme yoluyla hizalayan bir eğitim çerçevesi.
Reinforcement Learning from AI Feedback (RLAIF)
Ödül tercih modellerinin, seçenekleri belirli ilkelere göre değerlendiren bir yapay zeka modeli tarafından üretilen karşılaştırma etiketleri üzerinde eğitildiği bir pekiştirmeli öğrenme süreci.
Constitution
Eleştiri, revizyon ve tercih etiketleme istemlerini yönlendirmek için kullanılan kısa bir yazılı kurallar veya talimatlar kümesi.
SL-CAI
Önceden eğitilmiş bir dil modelinin, model tarafından üretilen yinelemeli eleştiriler ve revizyonlar üzerinde ince ayar yapılmasıyla eğitilen gözetimli öğrenme aşaması modeli.
RL-CAI
Yapay zeka tarafından üretilen zararsızlık karşılaştırmaları ve insan yardımseverlik karşılaştırmaları üzerinde eğitilmiş bir tercih modeline karşı pekiştirmeli öğrenmeyle ince ayar yapılmış nihai politika modeli.
Scaling Supervision
Modeller ölçeklendikçe doğrudan insan etiketlemesine olan bağımlılığı azaltarak diğer yapay zekaları denetlemeye yardımcı olmak üzere yapay zeka sistemlerinden yararlanan teknikler.
Probability Clamping
Aşırı güvenli etiketleri önlemek amacıyla hedef olasılıkları sınırlayan (örneğin %40 ile %60 arasında), Chain-of-Thought tercih üretimi sırasında kullanılan bir kalibrasyon tekniği.
Evasiveness
Bir asistanın bir talebin neden zararlı olduğunu açıklamak yerine tartışmalı veya hassas sorguları kestirip atarak toptan reddettiği başarısızlık modu.

Sorular

Constitutional AI, eğitim hattındaki tüm insan verilerini ortadan kaldırdı mı?

Hayır. Yöntem, zararsızlık için insan geri bildirim etiketlerini ortadan kaldırdı ancak yardımseverlik için insan geri bildirimi karşılaştırmalarını, insan tarafından yazılmış anayasal ilkeleri ve few-shot istem gösterimlerini kullanmaya devam etti.

Modelden zararlı çıktıları doğrudan revize etmesini istemek yerine neden eleştiriler kullanıldı?

Açık öz-eleştiri, modelin akıl yürütmesine şeffaflık katar ve daha küçük modeller için zararsızlık tercih puanlarını önemli ölçüde artırırken, 52B modellerde doğrudan revizyondan biraz daha iyi performans göstermiştir.

Chain-of-Thought kullanılırken tercih olasılıkları neden sınırlandı (clamped)?

Düşünce zinciri çıktıları tipik olarak tek bir seçeneğe çok güçlü bir şekilde bağlanır ve log-olasılıkları 0 veya 1'e yaklaştırır. Tercih hedeflerini %40 ile %60 arasında sınırlandırmak, RL politikasının aşırı veya gereksiz reaktif davranışlara kaymasını engelledi.

Constitutional AI modelin kaçamak yanıtlar verme sorununu nasıl çözüyor?

Eleştiri, revizyon ve geri bildirim sırasında modellere sakıncalı taleplerin neden zararlı olduğunu açıklamaları talimatını vererek ve 'Buna cevap veremem' gibi genel ret yanıtları vermek yerine düşünceli bir etkileşim kurmalarını sağlayarak çözer.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku