Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Panduan membaca

Masalah dan motivasi

Model bahasa pra-latih menyimpan pengetahuan faktual yang substansial di dalam parameter-parameternya (memori parametrik). Namun, model-model ini memiliki kelemahan signifikan: sulit memperluas atau memperbarui pengetahuan tanpa pelatihan ulang, tidak dapat dengan mudah memberikan sumber rujukan (provenance) atau interpretabilitas untuk keluarannya, dan rentan terhadap halusinasi.

Meskipun model hibrida parametrik/non-parametrik seperti REALM dan ORQA menggabungkan retrieval terdiferensiasi dengan pemodelan bahasa bertopeng (masked language modeling), model-model tersebut terbatas pada question answering ekstraktif. Arsitektur sequence-to-sequence (seq2seq) standar seperti BART dan T5 sebagian besar tetap bersifat closed-book. Penelitian ini menjembatani kesenjangan tersebut dengan mengusulkan Retrieval-Augmented Generation (RAG), sebuah kerangka kerja fine-tuning umum yang memadukan dense neural retriever pra-latih dengan generator seq2seq autoregresif untuk pembangkitan open-domain maupun klasifikasi.

Ide-ide kunci

• Memori Hibrida Parametrik dan Non-Parametrik: Memori non-parametrik terdiri dari indeks vektor padat atas 21 juta passage Wikipedia 100-kata yang diakses melalui Maximum Inner Product Search (MIPS). Memori parametriknya adalah generator BART pra-latih.
• Fine-Tuning End-to-End: Query encoder dan generator dilatih bersama-sama dengan memperlakukan passage yang diambil sebagai variabel laten dan meminimalkan negative marginal log-likelihood dari token target tanpa supervisi retrieval eksplisit.
• Dua Formulasi Pengondisian:
  • RAG-Sequence: Mengondisikan dokumen terambil yang sama di seluruh sekuens yang dihasilkan.
  • RAG-Token: Memungkinkan setiap token yang dihasilkan untuk memperhatikan dan melakukan marginalisasi atas passage terambil yang berbeda.
• Hot-Swappable World Knowledge: Indeks eksternal dapat ditukar saat waktu inferensi (misalnya, menukar indeks Wikipedia 2016 dengan indeks 2018) untuk memperbarui pengetahuan dunia tanpa memodifikasi bobot model.

Metode

Diberikan sekuens masukan $x$, retriever $p_{\eta }(z|x)$ menghasilkan distribusi atas dokumen-dokumen $z$, dan generator $p_{\theta }(y_i|x,z,y_{1:i-1})$ membangkitkan token target yang dikondisikan pada $x$ dan $z$.

Retriever menggunakan Dense Passage Retriever (DPR): $$p_{\eta }(z|x)\propto \exp \left(\mathbf{d}(z{)}^{\top }\mathbf{q}(x)\right)$$ di mana $\mathbf{d}(z)={\text{BERT}}_d(z)$ dan $\mathbf{q}(x)={\text{BERT}}_q(x)$. Kandidat top-$k$ diambil menggunakan FAISS MIPS. Indeks dokumen dan document encoder ${\text{BERT}}_d$ dibiarkan tetap (fixed), sedangkan ${\text{BERT}}_q$ dan parameter generator BART $\theta$ di-fine-tune.

RAG-Sequence

Model memperlakukan dokumen yang diambil sebagai variabel laten tunggal di seluruh sekuens $y$: $$p_{\text{RAG-Sequence}}(y|x)\approx \sum _{z\in \text{top-}k(p(\cdot |x))}{p}_{\eta }(z|x)\prod _i^N{p}_{\theta }(y_i|x,z,y_{1:i-1})$$ Proses decoding dapat dievaluasi menggunakan Thorough Decoding (menjalankan beam search per dokumen dan menghitung forward pass untuk hipotesis kandidat di seluruh dokumen) atau Fast Decoding (memperkirakan probabilitas beam yang hilang sebagai 0).

RAG-Token

Model melakukan marginalisasi atas dokumen pada setiap langkah token, memungkinkan pencampuran konten tingkat token lintas sumber: $$p_{\text{RAG-Token}}(y|x)\approx \prod _i^N\sum _{z\in \text{top-}k(p(\cdot |x))}{p}_{\eta }(z|x)p_{\theta }(y_i|x,z,y_{1:i-1})$$ Ini menghasilkan probabilitas transisi autoregresif standar yang dapat langsung dipasang ke dalam beam search.

Hasil

• QA Open-Domain: RAG mencatat hasil mutakhir baru pada benchmark terbuka menggunakan exact match (EM):
  • Natural Questions: 44,5 (RAG-Seq) vs. 41,5 (DPR) dan 36,6 (T5-11B+SSM).
  • TriviaQA (split terbuka standar): 56,8 (RAG-Seq); pada split uji TQA-Wiki: 68,0 (RAG-Seq) vs. 60,5 (T5-11B+SSM).
  • WebQuestions: 45,5 (RAG-Token) vs. 41,1 (DPR).
  • CuratedTrec: 52,2 (RAG-Seq) vs. 50,6 (DPR).
  • Khususnya, pada Natural Questions, RAG mencapai EM 11,8% ketika jawaban yang benar sama sekali tidak ada di dalam konteks yang diambil (di mana model ekstraktif mendapatkan skor 0%).
• Pembangkitan Abstraktif: Pada Open MS-MARCO, RAG-Sequence mencapai 40,8 Rouge-L dan 44,2 Bleu-1, mengungguli BART (38,2 Rouge-L, 41,6 Bleu-1).
• Pembangkitan Pertanyaan Jeopardy: Penilai manusia menilai RAG-Token lebih faktual daripada BART dalam 42,7% kasus berbanding BART yang lebih unggul hanya dalam 7,1% kasus. Evaluator juga menilai RAG lebih spesifik (37,4% vs. 16,8%).
• Verifikasi Fakta: Pada FEVER 3-arah, RAG mencapai akurasi label 72,5% (berada dalam selisih 4,3% dari sistem pipeline yang menggunakan supervisi bukti gold); pada 2-arah, RAG meraih akurasi 89,5%.
• Pembaruan Pengetahuan via Hot-Swapping: Menggunakan uji temporal 82 pemimpin antara tahun 2016 dan 2018, RAG memperoleh akurasi 70% untuk para pemimpin 2016 menggunakan indeks 2016 dan 68% untuk pemimpin 2018 dengan indeks 2018, yang kemudian anjlok drastis (12% dan 4%) saat indeks dipasangkan secara keliru.

Batasan dan pertanyaan terbuka

• Retrieval Collapse: Untuk tugas-tugas yang membutuhkan pengondisian faktual eksplisit yang lebih lemah (seperti pembuatan cerita open-ended), retriever dapat mengalami keruntuhan menjadi hanya mengambil dokumen statis yang invarian sementara generator belajar untuk mengabaikannya.
• Pengindeksan Dokumen Tetap: Document encoder dibiarkan statis selama fine-tuning tugas karena tingginya biaya komputasi untuk mengindeks ulang 21 juta vektor secara terus-menerus, sehingga membatasi adaptasi retriever.
• Landasan Sumber dan Bias: Memori non-parametrik tetap rentan terhadap misinformasi dan bias yang tertanam di dalam korpus pengetahuan dasarnya (Wikipedia).
• Joint Pre-training: Komponen retriever dan generator di-pra-latih secara terpisah sebelum fine-tuning tugas hilir, menyisakan joint pre-training dari awal sebagai arah penelitian terbuka.