Direct Preference Optimization: Dil Modeliniz Aslında Gizli Bir Ödül Modelidir

Okuma rehberi

Problem ve motivasyon

Büyük dil modelleri (LM'ler), denetimsiz ön eğitim sırasında muazzam bir dünya bilgisi edinir; ancak çıktılarını faydalı ve güvenli davranışlara yönlendirmek zorluğunu korumaktadır. İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF) işlem hatları bu sorunu üç aşamada ele alır: Denetimli İnce Ayar (SFT), bir Bradley-Terry modeli altında en çok olabilirlik aracılığıyla ikili tercihler üzerinde bir ödül modeli uydurma ve bir referans politikaya ${\pi }_{\text{ref}}$ kıyasla Kullback-Leibler (KL) ıraksama cezasını uygularken tahmini ödülü maksimize etmek için pekiştirmeli öğrenme (genellikle PPO) yoluyla politika optimizasyonu.

Bununla birlikte, aktör-eleştirmen (actor-critic) RL algoritmalarıyla yürütülen RLHF; birden fazla modelin (aktör, eleştirmen, referans, ödül modeli) eğitilmesini ve eğitim döngüsünde üretimlerin örneklenmesini gerektirdiğinden ötürü fazlasıyla karmaşık, kırılgan, hiperparametrelere duyarlı ve hesaplama açısından maliyetlidir.

Temel fikirler

• Politika ve ödül arasındaki analitik eşleme: KL kısıtlı ödül maksimizasyonu hedefinin ${\max }_{{\pi }_{\theta }}\mathbb{E}[r(x,y)]-\beta {\mathbb{D}}_{\text{KL}}({\pi }_{\theta }\parallel {\pi }_{\text{ref}})$ optimal çözümü, bilinen bir kapalı form temsiline sahiptir: ${\pi }_r(y\mid x)=\frac{1}{Z(x)}{\pi }_{\text{ref}}(y\mid x)\exp \left(\frac{1}{\beta }r(x,y)\right)$.
• Ödülün yeniden parametrelendirilmesi: Bu eşitliğin yeniden düzenlenmesi, temel gerçeği yansıtan ödülün optimal politika aracılığıyla ifade edilmesini sağlar: $r(x,y)=\beta \log \frac{\pi (y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}+\beta \log Z(x)$.
• Bölüşüm fonksiyonunun sadeleşmesi: Bradley-Terry gibi ikili karşılaştırma modelleri altında tercih olasılıkları yalnızca ödüllerdeki farka $r(x,y_w)-r(x,y_l)$ bağlıdır. İsteme (prompt) bağlı bilinmeyen bölüşüm fonksiyonu $\beta \log Z(x)$ tamamen sadeleşir.
• Örtük ödül modelleme: Açık bir skaler ödül ağını optimize edip RL çalıştırmak yerine DPO, statik tercih çiftleri $\mathcal{D}=\{(x,y_w,y_l)\}$ üzerinde en çok olabilirlik aracılığıyla politikayı doğrudan uydurur.

Yöntem (temel denklemlerle)

Bradley-Terry tercih modeli altında, verilen $x$ istemi için $y_w$ tamamlamasının $y_l$ tamamlamasına tercih edilme olasılığı şöyledir: $$p^{\ast }(y_w\succ y_l\mid x)=\sigma (r^{\ast }(x,y_w)-r^{\ast }(x,y_l))$$

Politikadan ima edilen ödülün ${\hat{r}}_{\theta }(x,y)=\beta \log \frac{{\pi }_{\theta }(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}$ yerine koyulması Direct Preference Optimization (DPO) hedefini verir: $${\mathcal{L}}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\text{ref}})=-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}\left[\log \sigma \left(\beta \log \frac{{\pi }_{\theta }(y_w\mid x)}{{\pi }_{\text{ref}}(y_w\mid x)}-\beta \log \frac{{\pi }_{\theta }(y_l\mid x)}{{\pi }_{\text{ref}}(y_l\mid x)}\right)\right]$$

Politika parametreleri $\theta$'ya göre gradyan şöyledir: $${\nabla }_{\theta }{\mathcal{L}}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\text{ref}})=-\beta {\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}\left[\sigma ({\hat{r}}_{\theta }(x,y_l)-{\hat{r}}_{\theta }(x,y_w))\left[{\nabla }_{\theta }\log {\pi }_{\theta }(y_w\mid x)-{\nabla }_{\theta }\log {\pi }_{\theta }(y_l\mid x)\right]\right]$$

Burada gradyan, $y_w$ olurluğunu (likelihood) artırırken $y_l$ olurluğunu azaltır. Dinamik skaler ağırlık $\sigma ({\hat{r}}_{\theta }(x,y_l)-{\hat{r}}_{\theta }(x,y_w))$, örtük ödülün çifti o anda ne kadar yanlış puanladığına bağlı olarak güncellemeyi ölçeklendirir ve ağırlıklandırılmamış olurluk hedeflerinde görülen model yozlaşmasını önler.

Sonuçlar (en önemli sayılarla)

• Kontrollü Duygu Üretimi (IMDb + GPT-2-large): DPO, ödül-KL sınırının tamamında PPO'ya kesin bir üstünlük kurarak ${\pi }_{\text{ref}}$'den dizi düzeyindeki KL ıraksamasının her seviyesinde daha yüksek ödül elde eder; hatta temel gerçek kahin (oracle) ödülleri sağlanan PPO'yu (PPO-GT) bile geride bırakır.
• TL;DR Özetleme (GPT-J 6B):
  • 0,0 sıcaklığında DPO, GPT-4 tarafından değerlendirilen referans tamamlamalara karşı yaklaşık %61 kazanma oranı elde ederken, PPO için bu oran %57'dir (en uygun sıcaklığı olan 0,0'da).
  • TL;DR üzerinde başa baş özetleri karşılaştıran bir insan çalışmasında, 0,25 sıcaklığındaki DPO tamamlamaları, 0,0 sıcaklığındaki PPO tamamlamalarına karşı %58 oranında tercih edilmiştir.
  • PPO, 1,0 sıcaklığında taban modele doğru keskin bir düşüş yaşarken, DPO farklı sıcaklıklar genelinde kararlılığını korur.
• Dağılım Dışı Genelleme (CNN/DailyMail): CNN/DailyMail haber makaleleri üzerinde daha fazla ince ayar yapılmaksızın sıfır atışlı (zero-shot) olarak değerlendirildiğinde DPO, 0 sıcaklığında temel gerçek özetlere karşı 0,36 kazanma oranı (PPO için 0,26) ve 0,25 sıcaklığında 0,31 kazanma oranı (PPO için 0,23) elde eder.
• Tek turlu Diyalog (Anthropic HH + Pythia-2.8B): DPO, test edilen yöntemler arasında tercih edilen test kümesi tamamlamalarından daha iyi performans gösteren ve hesaplama açısından pahalı olan Best-of-128 örnekleme referans çizgisine denk gelen veya bunu az farkla aşan, hesaplama açısından hafif tek yöntemdir.

Sınırlılıklar ve açık sorular

• Dağılım dışı genelleme: CNN/DailyMail üzerindeki ilk testler güçlü bir aktarım gösterse de makale, doğrudan politika optimizasyonunun daha geniş kaymalar üzerinde genellenebilir açık bir ödül modeli öğrenmeyle nasıl karşılaştırıldığını anlamak için daha fazla çalışmaya ihtiyaç olduğunu belirtmektedir.
• Aşırı ödül optimizasyonu: Yazarlar, diyalog deneylerinde eğitimin sonlarına doğru hafif performans düşüşleri gözlemlemiştir; bu da klasik "ödül hackleme" veya aşırı optimizasyonun örtük ödül modellerinde meydana gelip gelmediğini ve nasıl gerçekleştiğini açık bir soru olarak bırakmaktadır.
• Etiketsiz verilerin kullanımı: RL açılımları sırasında rastgele etiketsiz istemler üzerinde üretim yapabilen PPO'nun aksine, standart DPO eşleştirilmiş karşılaştırmalar üzerinde eğitilen çevrim dışı bir algoritmadır; bunu kendi kendini etiketleme veya yinelemeli toplama yoluyla genişletmek açık bir araştırma alanıdır.
• Değerlendirme bağımlılıkları: Otomatik değerlendirme, GPT-4 istem ifadelerine (kısa isteme karşı basit istem) büyük ölçüde bağımlı kalmıştır ve bu da LLM-as-a-judge metodolojilerindeki duyarlılığı öne çıkarmaktadır.