Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Leseleitfaden

Problem und Motivation

Vortrainierte Sprachmodelle speichern umfangreiches Faktenwissen in ihren Parametern (parametrischer Speicher). Allerdings weisen sie erhebliche Schwächen auf: Es fällt ihnen schwer, ihr Wissen ohne erneutes Training zu erweitern oder zu aktualisieren, sie bieten kaum Nachvollziehbarkeit oder Interpretierbarkeit für ihre Ausgaben und neigen zu Halluzinationen.

Hybride parametrisch/nicht-parametrische Modelle wie REALM und ORQA kombinierten zwar differenzierbares Retrieval mit Masked Language Modeling, blieben jedoch auf extraktive Frage-Antwort-Systeme (Question Answering) beschränkt. Standardmäßige Sequence-to-Sequence-Architekturen (seq2seq) wie BART und T5 arbeiteten weitgehend nach dem Closed-Book-Prinzip. Diese Arbeit schließt die Lücke durch den Vorschlag von Retrieval-Augmented Generation (RAG), einem allgemeinen Fine-Tuning-Framework, das einen vortrainierten dichten neuronalen Retriever mit einem autoregressiven seq2seq-Generator sowohl für die Open-Domain-Generierung als auch für Klassifikationsaufgaben koppelt.

Zentrale Ideen

• Hybrider parametrischer und nicht-parametrischer Speicher: Der nicht-parametrische Speicher besteht aus einem dichten Vektorindex über 21 Millionen 100-Wort-Passagen aus Wikipedia, auf den via Maximum Inner Product Search (MIPS) zugegriffen wird. Der parametrische Speicher ist ein vortrainierter BART-Generator.
• End-to-End-Fine-Tuning: Der Query-Encoder und der Generator werden gemeinsam trainiert, indem die abgerufenen Passagen als latente Variablen behandelt werden und die negative marginale Log-Likelihood der Ziel-Token ohne explizite Retrieval-Supervision minimiert wird.
• Zwei Konditionierungs-Formulierungen:
  • RAG-Sequence: Konditioniert über die gesamte generierte Sequenz hinweg auf demselben abgerufenen Dokument.
  • RAG-Token: Erlaubt es jedem generierten Token, unterschiedliche abgerufene Passagen zu gewichten (attend) und über sie zu marginalisieren.
• Direkt austauschbares Weltwissen (Hot-Swappable): Der externe Index kann zur Inferenzzeit ausgetauscht werden (z. B. Ersetzen eines Wikipedia-Index von 2016 durch einen von 2018), um das Weltwissen ohne Änderung der Modellgewichte zu aktualisieren.

Methode

Gegeben einer Eingabesequenz $x$ liefert der Retriever $p_{\eta }(z|x)$ eine Verteilung über Dokumente $z$, und der Generator $p_{\theta }(y_i|x,z,y_{1:i-1})$ generiert Ziel-Token konditioniert auf $x$ und $z$.

Der Retriever verwendet den Dense Passage Retriever (DPR): $$p_{\eta }(z|x)\propto \exp \left(\mathbf{d}(z{)}^{\top }\mathbf{q}(x)\right)$$ wobei $\mathbf{d}(z)={\text{BERT}}_d(z)$ und $\mathbf{q}(x)={\text{BERT}}_q(x)$. Die Top-$k$-Kandidaten werden mittels FAISS MIPS abgerufen. Der Dokumentenindex und der Dokument-Encoder ${\text{BERT}}_d$ bleiben fixiert, während ${\text{BERT}}_q$ und die Parameter $\theta$ des BART-Generators feingetunt werden.

RAG-Sequence

Das Modell behandelt das abgerufene Dokument als eine einzelne latente Variable über die gesamte Sequenz $y$ hinweg: $$p_{\text{RAG-Sequence}}(y|x)\approx \sum _{z\in \text{top-}k(p(\cdot |x))}{p}_{\eta }(z|x)\prod _i^N{p}_{\theta }(y_i|x,z,y_{1:i-1})$$ Das Decoding kann mittels Thorough Decoding (Ausführen eines Beam Search pro Dokument und Berechnung von Forward Passes für Kandidatenhypothesen über alle Dokumente hinweg) oder Fast Decoding (Approximation fehlender Beam-Wahrscheinlichkeiten als 0) ausgewertet werden.

RAG-Token

Das Modell marginalisiert bei jedem Token-Schritt über Dokumente, was das Mischen von Inhalten über verschiedene Quellen auf Token-Ebene ermöglicht: $$p_{\text{RAG-Token}}(y|x)\approx \prod _i^N\sum _{z\in \text{top-}k(p(\cdot |x))}{p}_{\eta }(z|x)p_{\theta }(y_i|x,z,y_{1:i-1})$$ Dies liefert eine standardmäßige autoregressive Übergangswahrscheinlichkeit, die sich direkt in den Beam Search integrieren lässt.

Ergebnisse

• Open-Domain QA: RAG erzielt neue State-of-the-Art-Ergebnisse auf offenen Benchmarks gemessen am Exact Match (EM):
  • Natural Questions: 44,5 (RAG-Seq) vs. 41,5 (DPR) und 36,6 (T5-11B+SSM).
  • TriviaQA (Standard Open Split): 56,8 (RAG-Seq); auf dem TQA-Wiki-Test-Split: 68,0 (RAG-Seq) vs. 60,5 (T5-11B+SSM).
  • WebQuestions: 45,5 (RAG-Token) vs. 41,1 (DPR).
  • CuratedTrec: 52,2 (RAG-Seq) vs. 50,6 (DPR).
  • Bemerkenswert ist, dass RAG auf Natural Questions 11,8% EM erreichte, selbst wenn die korrekte Antwort im abgerufenen Kontext vollständig fehlte (während extraktive Modelle hier 0% erzielen).
• Abstraktive Generierung: Auf Open MS-MARCO erreicht RAG-Sequence 40,8 Rouge-L und 44,2 Bleu-1 und übertrifft damit BART (38,2 Rouge-L, 41,6 Bleu-1).
• Generierung von Jeopardy-Fragen: Menschliche Annotatoren bewerteten RAG-Token in 42,7% der Fälle als faktischer als BART, während BART nur in 7,1% der Fälle überlegen war. Evaluatoren stuften RAG zudem als spezifischer ein (37,4% vs. 16,8%).
• Faktenverifikation: Auf FEVER 3-way erreicht RAG eine Label-Genauigkeit von 72,5% (innerhalb von 4,3% zu Pipeline-Systemen mit Gold-Evidence-Supervision); bei FEVER 2-way erreicht RAG 89,5% Genauigkeit.
• Wissensaktualisierung via Hot-Swapping: In einem Test mit 82 Staatsoberhäuptern (Leaders) im Zeitraum zwischen 2016 und 2018 erzielte RAG eine Genauigkeit von 70% für Politiker von 2016 mit dem 2016er-Index und 68% für Politiker von 2018 mit dem 2018er-Index; bei einer Vertauschung der Indizes brach die Leistung drastisch ein (12% und 4%).

Grenzen und offene Fragen

• Retrieval Collapse: Bei Aufgaben, die eine schwächere explizite faktische Konditionierung erfordern (wie das offene Generieren von Geschichten), kann der Retriever dazu neigen, stets dieselben, statischen Dokumente abzurufen, während der Generator lernt, diese zu ignorieren.
• Statischer Dokumentenindex: Der Dokument-Encoder wird während des Task-Fine-Tunings fixiert, da die kontinuierliche Neuindizierung von 21 Millionen Vektoren extrem rechenintensiv ist; dies begrenzt die Anpassungsfähigkeit des Retrievers.
• Quellen-Fundierung und Bias: Der nicht-parametrische Speicher bleibt anfällig für Fehlinformationen und Vorurteile, die im zugrunde liegenden Wissenskorpus (Wikipedia) enthalten sind.
• Gemeinsames Pre-Training: Retriever- und Generator-Komponenten wurden vor dem Fine-Tuning auf Downstream-Aufgaben separat vortrainiert; ein gemeinsames Pre-Training von Grund auf bleibt eine offene Fragestellung.