Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Okuma rehberi

Problem ve motivasyon

Önceden eğitilmiş dil modelleri, parametreleri (parametrik bellek) dahilinde önemli miktarda olgusal bilgi depolar. Ancak önemli dezavantajları vardır: yeniden eğitmeksizin bilgilerini genişletmekte veya güncellemekte zorlanırlar, çıktıları için kolayca kaynak veya yorumlanabilirlik sağlayamazlar ve halüsinasyonlara yatkındırlar.

REALM ve ORQA gibi hibrit parametrik/parametrik olmayan modeller türevlenebilir getirmeyi maskelenmiş dil modelleme ile birleştirmiş olsa da, çıkarımsal soru yanıtlama ile sınırlı kalmışlardı. BART ve T5 gibi standart diziden diziye (seq2seq) mimariler ise büyük ölçüde kapalı kitap (closed-book) olarak kaldı. Bu çalışma, hem açık alan üretimi hem de sınıflandırma için önceden eğitilmiş yoğun bir nöral getiriciyi otoregresif bir seq2seq üretici ile eşleştiren genel bir ince ayar çerçevesi olan Retrieval-Augmented Generation (RAG) modelini önererek bu boşluğu doldurmaktadır.

Temel fikirler

• Hibrit Parametrik ve Parametrik Olmayan Bellek: Parametrik olmayan bellek, Maximum Inner Product Search (MIPS) aracılığıyla erişilen 21 milyon 100 kelimelik Wikipedia pasajı üzerindeki yoğun bir vektör dizininden oluşur. Parametrik bellek ise önceden eğitilmiş bir BART üreticisidir.
• Uçtan Uca İnce Ayar: Sorgu kodlayıcı ve üretici, getirilen pasajlar örtük değişkenler olarak ele alınarak ve açık bir getirme denetimi olmaksızın hedef belirteçlerin negatif marjinal log-olabilirliği en aza indirilerek ortaklaşa eğitilir.
• İki Koşullandırma Formülasyonu:
  • RAG-Sequence: Üretilen dizinin tamamı boyunca getirilen aynı belgeye koşullanır.
  • RAG-Token: Üretilen her bir belirtecin farklı getirilen pasajlara dikkat etmesine (attend) ve bunlar üzerinden marjinalleştirme yapmasına olanak tanır.
• Çalışırken Değiştirilebilir (Hot-Swappable) Dünya Bilgisi: Model ağırlıklarını değiştirmeden dünya bilgisini güncellemek için çıkarım anında harici dizin değiştirilebilir (örneğin, 2016 Wikipedia dizini yerine 2018 dizini takılabilir).

Yöntem

Verilen bir $x$ girdi dizisi için getirici $p_{\eta }(z|x)$, $z$ belgeleri üzerinde bir dağılım üretir ve üretici $p_{\theta }(y_i|x,z,y_{1:i-1})$, hem $x$ hem de $z$ koşulu altında hedef belirteçleri üretir.

Getirici, Dense Passage Retriever (DPR) kullanır: $$p_{\eta }(z|x)\propto \exp \left(\mathbf{d}(z{)}^{\top }\mathbf{q}(x)\right)$$ burada $\mathbf{d}(z)={\text{BERT}}_d(z)$ ve $\mathbf{q}(x)={\text{BERT}}_q(x)$ şeklindedir. En iyi $k$ aday FAISS MIPS kullanılarak getirilir. Belge dizini ve belge kodlayıcı ${\text{BERT}}_d$ sabit tutulurken, ${\text{BERT}}_q$ ve BART üretici parametreleri $\theta$ ince ayardan geçirilir.

RAG-Sequence

Model, getirilen belgeyi $y$ dizisinin tamamı boyunca tek bir örtük değişken olarak ele alır: $$p_{\text{RAG-Sequence}}(y|x)\approx \sum _{z\in \text{top-}k(p(\cdot |x))}{p}_{\eta }(z|x)\prod _i^N{p}_{\theta }(y_i|x,z,y_{1:i-1})$$ Kayıp açma (decoding), Thorough Decoding (belge başına beam search çalıştırma ve tüm belgelerdeki aday hipotezler için ileri geçişleri hesaplama) veya Fast Decoding (eksik beam olasılıklarını 0 olarak yaklaşıklama) kullanılarak değerlendirilebilir.

RAG-Token

Model, her belirteç adımında belgeler üzerinde marjinalleştirme yaparak kaynaklar arasında belirteç düzeyinde içerik harmanlamasına olanak tanır: $$p_{\text{RAG-Token}}(y|x)\approx \prod _i^N\sum _{z\in \text{top-}k(p(\cdot |x))}{p}_{\eta }(z|x)p_{\theta }(y_i|x,z,y_{1:i-1})$$ Bu, doğrudan beam search içine entegre edilebilen standart bir otoregresif geçiş olasılığı sağlar.

Sonuçlar

• Açık Alan S&C: RAG, tam eşleşme (exact match - EM) kullanan açık kıyaslamalarda yeni son teknoloji sonuçlar elde etmiştir:
  • Natural Questions: 41.5 (DPR) ve 36.6'ya (T5-11B+SSM) kıyasla 44.5 (RAG-Seq).
  • TriviaQA (standart açık bölüm): 56.8 (RAG-Seq); TQA-Wiki test bölümünde ise: 60.5'e (T5-11B+SSM) kıyasla 68.0 (RAG-Seq).
  • WebQuestions: 41.1'e (DPR) kıyasla 45.5 (RAG-Token).
  • CuratedTrec: 50.6'ya (DPR) kıyasla 52.2 (RAG-Seq).
  • Özellikle, Natural Questions üzerinde RAG, doğru cevabın getirilen bağlamda tamamen eksik olduğu durumlarda (çıkarımsal modellerin %0 aldığı durumlar) %11.8 EM elde etmiştir.
• Soyutlamalı Üretim: Open MS-MARCO üzerinde RAG-Sequence, BART'ı (38.2 Rouge-L, 41.6 Bleu-1) geride bırakarak 40.8 Rouge-L ve 44.2 Bleu-1 değerlerine ulaşmıştır.
• Jeopardy Soru Üretimi: İnsan değerlendiriciler, durumların %42.7'sinde RAG-Token'ı BART'tan daha olgusal bulurken, BART yalnızca %7.1'inde üstün görülmüştür. Değerlendiriciler ayrıca RAG'ı daha spesifik bulmuştur (%37.4'e karşı %16.8).
• Olgu Doğrulama: FEVER 3-way üzerinde RAG, %72.5 etiket doğruluğuna (altın kanıt denetimi kullanan ardışık düzen sistemlerinin %4.3 dahilinde); 2-way üzerinde ise %89.5 doğruluğa ulaşır.
• Hot-Swapping ile Bilgi Güncelleme: 2016 ile 2018 arasındaki 82 liderlik zamansal testinde RAG, 2016 dizinini kullanarak 2016 liderleri için %70, 2018 diziniyle 2018 liderleri için %68 doğruluk elde etmiş; uyumsuzluk durumunda bu oranlar ciddi şekilde düşmüştür (%12 ve %4).

Sınırlılıklar ve açık sorular

• Getirici Çökmesi (Retrieval Collapse): Daha zayıf açık olgusal koşullandırma gerektiren görevlerde (örneğin açık uçlu hikaye üretimi), üretici getirilen belgeleri görmezden gelmeyi öğrenirken getirici statik, değişmeyen belgeleri getirme eğilimine girip çökebilir.
• Sabit Belge İndeksleme: Belge kodlayıcı, 21 milyon vektörü sürekli yeniden indekslemenin hesaplama maliyeti nedeniyle görev ince ayarı sırasında statik tutulur ve bu da getirici adaptasyonunu sınırlar.
• Kaynak Temellendirme ve Yanlılık: Parametrik olmayan bellek, temel alınan bilgi kümesinde (Wikipedia) bulunan yanlış bilgilere ve yanlılıklara karşı savunmasız kalmaya devam eder.
• Ortak Ön Eğitim: Getirici ve üretici bileşenleri, alt görev ince ayarından önce ayrı ayrı önceden eğitilmiştir; sıfırdan ortak bir ön eğitim açık bir araştırma yönü olarak durmaktadır.