Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Patrick Lewis; Ethan Perez; Aleksandra Piktus; Fabio Petroni; Vladimir Karpukhin; Naman Goyal; Heinrich Küttler; Mike Lewis; Wen-tau Yih; Tim Rocktäschel; Sebastian Riedel; Douwe Kiela

논문 · arXiv 2005.11401

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela

게시일 2020-05-22cs.CLcs.LG arXiv PDF

XYZNOT로 읽기 (전문 번역과 AI 해설)

세 줄 요약

🎯 순수 모수적 언어 모델은 사실적 지식에 접근, 수정, 근거를 두는 데 한계가 있어 지식 집약적 태스크에서 환각을 일으킵니다.
🔧 Dense Passage Retriever(Wikipedia 기반 비모수적 메모리)와 BART 생성기(모수적 메모리)를 결합하고, 잠재 문서를 한계화하여 엔드투엔드로 파인 튜닝하는 RAG를 제안합니다.
📈 오픈 도메인 QA에서 SOTA 결과를 달성(Natural Questions에서 44.5 EM)했으며, 모수 전용 베이스라인보다 더 사실적이고 구체적이며 다양한 텍스트를 생성합니다.

초록

사전 학습된 대규모 언어 모델은 파라미터 내에 사실적 지식을 저장하고 다운스트림 NLP 태스크에서 파인 튜닝될 때 SOTA 결과를 달성하는 것으로 나타났습니다. 그러나 지식에 접근하고 이를 정밀하게 조작하는 능력은 여전히 제한적이어서, 지식 집약적 태스크에서 이들의 성능은 태스크 특화 아키텍처에 뒤처집니다. 또한 의사 결정에 대한 출처를 제공하고 세계 지식을 업데이트하는 것은 여전히 미해결 연구 과제로 남아 있습니다. 명시적인 비모수적 메모리에 대한 미분 가능한 접근 메커니즘을 갖춘 사전 학습 모델이 이 문제를 극복할 수 있지만, 지금까지는 추출형(extractive) 다운스트림 태스크에 대해서만 연구되었습니다. 본 연구에서는 언어 생성을 위해 사전 학습된 모수적 및 비모수적 메모리를 결합하는 모델인 검색 증강 생성(RAG)을 위한 범용 파인 튜닝 레시피를 탐구합니다. 우리는 모수적 메모리가 사전 학습된 seq2seq 모델이고, 비모수적 메모리가 사전 학습된 신경망 검색기로 접근하는 Wikipedia의 밀집 벡터 인덱스인 RAG 모델을 제안합니다. 생성된 시퀀스 전체에 걸쳐 동일한 검색 구절을 조건으로 사용하는 모델과 토큰마다 다른 구절을 사용할 수 있는 두 가지 RAG 정식을 비교합니다. 광범위한 지식 집약적 NLP 태스크에서 모델을 파인 튜닝하고 평가하여 세 가지 오픈 도메인 QA 태스크에서 SOTA를 달성했으며, 모수적 seq2seq 모델 및 태스크 특화 검색-추출 아키텍처를 능가했습니다. 언어 생성 태스크의 경우, RAG 모델이 SOTA인 모수 전용 seq2seq 베이스라인보다 더 구체적이고 다양하며 사실적인 언어를 생성함을 확인했습니다.

영어 원문 초록

Large pre-trained language models have been shown to store factual knowledge in their parameters, and achieve state-of-the-art results when fine-tuned on downstream NLP tasks. However, their ability to access and precisely manipulate knowledge is still limited, and hence on knowledge-intensive tasks, their performance lags behind task-specific architectures. Additionally, providing provenance for their decisions and updating their world knowledge remain open research problems. Pre-trained models with a differentiable access mechanism to explicit non-parametric memory can overcome this issue, but have so far been only investigated for extractive downstream tasks. We explore a general-purpose fine-tuning recipe for retrieval-augmented generation (RAG) -- models which combine pre-trained parametric and non-parametric memory for language generation. We introduce RAG models where the parametric memory is a pre-trained seq2seq model and the non-parametric memory is a dense vector index of Wikipedia, accessed with a pre-trained neural retriever. We compare two RAG formulations, one which conditions on the same retrieved passages across the whole generated sequence, the other can use different passages per token. We fine-tune and evaluate our models on a wide range of knowledge-intensive NLP tasks and set the state-of-the-art on three open domain QA tasks, outperforming parametric seq2seq models and task-specific retrieve-and-extract architectures. For language generation tasks, we find that RAG models generate more specific, diverse and factual language than a state-of-the-art parametric-only seq2seq baseline.

논문 해설

문제 및 동기

사전 학습된 언어 모델은 파라미터 내에 상당한 양의 사실적 지식을 저장합니다(모수적 메모리). 그러나 재학습 없이는 지식을 확장하거나 업데이트하기 어렵고, 출력에 대한 출처나 해석 가능성을 쉽게 제공할 수 없으며, 환각 현상이 발생하기 쉽다는 중대한 단점이 있습니다.

REALM 및 ORQA와 같은 하이브리드 모수/비모수 모델은 미분 가능한 검색과 마스크드 언어 모델링을 결합했지만, 추출형 질의응답에 국한되었습니다. BART 및 T5와 같은 표준 시퀀스 투 시퀀스(seq2seq) 아키텍처는 대부분 폐쇄형(closed-book)으로 남아 있었습니다. 본 연구에서는 사전 학습된 밀집 신경망 검색기와 자기회귀 seq2seq 생성기를 결합하여 오픈 도메인 생성 및 분류 모두를 지원하는 범용 파인 튜닝 프레임워크인 **검색 증강 생성(Retrieval-Augmented Generation, RAG)**을 제안함으로써 이러한 간극을 메웁니다.

핵심 아이디어

모수적 및 비모수적 하이브리드 메모리: 비모수적 메모리는 최대 내적 탐색(MIPS)을 통해 접근하는 2,100만 개의 100단어 Wikipedia 구절에 대한 밀집 벡터 인덱스로 구성됩니다. 모수적 메모리는 사전 학습된 BART 생성기입니다.
엔드투엔드 파인 튜닝: 검색된 구절을 잠재 변수로 취급하고 명시적인 검색 지도 없이 타깃 토큰의 음의 한계 로그 우도를 최소화하여 쿼리 인코더와 생성기를 공동으로 학습합니다.
두 가지 조건화 정식화:
- RAG-Sequence: 생성된 전체 시퀀스에 걸쳐 동일한 검색 문서를 조건으로 사용합니다.
- RAG-Token: 생성된 각 토큰이 서로 다른 검색 구절에 주의를 기울이고 한계화할 수 있도록 합니다.
핫스왑 가능한 세계 지식: 모델 가중치를 수정하지 않고도 추론 시 외부 인덱스를 교체(예: 2016년 Wikipedia 인덱스를 2018년 인덱스로 교체)하여 세계 지식을 업데이트할 수 있습니다.

방법론

입력 시퀀스 $x$ 가 주어지면, 검색기 $p_{η} (z ∣ x)$ 는 문서 $z$ 에 대한 분포를 생성하고, 생성기 $p_{θ} (y_{i} ∣ x, z, y_{1 : i - 1})$ 는 $x$ 와 $z$ 모두를 조건으로 하여 타깃 토큰을 생성합니다.

검색기는 Dense Passage Retriever(DPR)를 사용합니다: $p_{η} (z ∣ x) \propto exp (d (z)^{⊤} q (x))$ 여기서 $d (z) = BERT_{d} (z)$ 및 $q (x) = BERT_{q} (x)$ 입니다. 상위 $k$ 개 후보는 FAISS MIPS를 사용하여 검색됩니다. 문서 인덱스와 문서 인코더 $BERT_{d}$ 는 고정된 상태로 유지되며, $BERT_{q}$ 와 BART 생성기 파라미터 $θ$ 만 파인 튜닝됩니다.

RAG-Sequence

모델은 전체 시퀀스 $y$ 에 걸쳐 검색된 문서를 단일 잠재 변수로 취급합니다: $p_{RAG-Sequence} (y ∣ x) \approx z \in top- k (p (\cdot ∣ x)) \sum p_{η} (z ∣ x) i \prod N p_{θ} (y_{i} ∣ x, z, y_{1 : i - 1})$ 디코딩은 Thorough Decoding(문서별로 빔 서치를 실행하고 모든 문서에 걸쳐 후보 가설에 대한 순전파를 계산) 또는 Fast Decoding(누락된 빔 확률을 0으로 근사)을 사용하여 평가할 수 있습니다.

RAG-Token

모델은 각 토큰 단계에서 문서를 한계화하여 여러 출처에 걸친 토큰 수준의 콘텐츠 혼합을 가능하게 합니다: $p_{RAG-Token} (y ∣ x) \approx i \prod N z \in top- k (p (\cdot ∣ x)) \sum p_{η} (z ∣ x) p_{θ} (y_{i} ∣ x, z, y_{1 : i - 1})$ 이는 빔 서치에 직접 연결할 수 있는 표준 자기회귀 전이 확률을 제공합니다.

결과

오픈 도메인 QA: RAG는 완전 일치(EM) 기준 오픈 벤치마크에서 새로운 SOTA를 달성했습니다:
- Natural Questions: 44.5(RAG-Seq) vs. 41.5(DPR), 36.6(T5-11B+SSM).
- TriviaQA(표준 오픈 분할): 56.8(RAG-Seq); TQA-Wiki 테스트 분할: 68.0(RAG-Seq) vs. 60.5(T5-11B+SSM).
- WebQuestions: 45.5(RAG-Token) vs. 41.1(DPR).
- CuratedTrec: 52.2(RAG-Seq) vs. 50.6(DPR).
- 특히 Natural Questions에서 검색된 컨텍스트에 정답이 전혀 포함되지 않은 경우에도 RAG는 **11.8%**의 EM을 달성했습니다(추출형 모델은 0% 기록).
생성 요약: Open MS-MARCO에서 RAG-Sequence는 Rouge-L 40.8, Bleu-1 44.2를 달성하여 BART(Rouge-L 38.2, Bleu-1 41.6)를 능가했습니다.
Jeopardy 질문 생성: 인간 평가자는 42.7%의 경우에서 RAG-Token이 BART보다 더 사실적이라고 평가한 반면, BART가 더 우수하다고 평가한 경우는 7.1%에 불과했습니다. 또한 평가자들은 RAG가 더 구체적이라고 응답했습니다(37.4% vs. 16.8%).
사실 검증: FEVER 3-way에서 RAG는 72.5%의 라벨 정확도를 기록했으며(골드 증거 레이블 지도를 사용하는 파이프라인 시스템과 4.3% 이내 차이), 2-way에서는 89.5%의 정확도를 달성했습니다.
핫스왑을 통한 지식 업데이트: 2016년과 2018년 사이의 82명 지도자 시간적 테스트를 사용했을 때, RAG는 2016년 인덱스로 2016년 지도자에 대해 70%의 정확도를, 2018년 인덱스로 2018년 지도자에 대해 68%의 정확도를 기록했으나 인덱스가 일치하지 않을 경우 대폭 하락했습니다(각각 12% 및 4%).

한계점 및 열린 질문

검색 붕괴: 명시적인 사실적 조건화 요구가 적은 태스크(예: 개방형 스토리 생성)의 경우, 검색기가 정적이고 불변하는 문서만 검색하도록 붕괴되고 생성기는 이를 무시하도록 학습될 수 있습니다.
고정된 문서 인덱싱: 2,100만 개의 벡터를 지속적으로 재인덱싱하는 계산 비용으로 인해 태스크 파인 튜닝 중 문서 인코더가 정적으로 유지되어 검색기 적응이 제한됩니다.
출처 근거 및 편향: 비모수적 메모리는 기초 지식 말뭉치(Wikipedia)에 내재된 잘못된 정보와 편향에 여전히 취약합니다.
공동 사전 학습: 검색기와 생성기 컴포넌트는 다운스트림 태스크 파인 튜닝 이전에 별도로 사전 학습되었으므로, 처음부터 공동 사전 학습을 수행하는 것은 열린 연구 방향으로 남아 있습니다.

핵심 용어

Retrieval-Augmented Generation (RAG): 사전 학습된 신경망 검색기와 사전 학습된 시퀀스 투 시퀀스 모델을 결합하여, 검색된 비모수적 텍스트 구절을 조건으로 텍스트를 생성하는 하이브리드 프레임워크.
Parametric Memory: 사전 학습된 seq2seq 생성기(BART)의 신경망 가중치 내에 저장된 암묵적인 사실 지식.
Non-Parametric Memory: 런타임 시 접근되는 명시적인 외부 문서 모음(예: 2,100만 개의 Wikipedia 구절에 대한 FAISS 밀집 벡터 인덱스).
RAG-Sequence: 검색된 구절을 생성된 전체 시퀀스에 걸쳐 일정하게 유지되는 잠재 변수로 취급하는 RAG 정식화 방식.
RAG-Token: 생성된 각 토큰마다 상위 k개의 검색 문서를 개별적으로 한계화하여 여러 출처의 정보를 종합할 수 있도록 하는 RAG 정식화 방식.
Dense Passage Retriever (DPR): 밀집 임베딩 공간에서 최대 내적 탐색을 통해 쿼리와 문서의 관련성 점수를 매기는 듀얼 BERT 인코더 아키텍처.
Maximum Inner Product Search (MIPS): 쿼리 벡터와 가장 가까운 상위 k개 문서 벡터를 서브 선형 시간 내에 신속하게 검색하는 데 사용되는 수학적 탐색 수식.
Index Hot-Swapping: 모델의 파라미터를 재학습하거나 파인 튜닝하지 않고 비모수적 문서 인덱스를 업데이트된 정보로 교체하는 방식.

자주 묻는 질문

RAG-Sequence와 RAG-Token의 차이점은 무엇인가요?

RAG-Sequence는 전체 시퀀스에 걸쳐 모든 토큰을 조건화하기 위해 완전히 동일한 검색 문서를 사용하는 반면, RAG-Token은 각 단계에서 상위 문서를 한계화하여 서로 다른 토큰이 서로 다른 문서에 의해 뒷받침될 수 있도록 합니다.

파인 튜닝 중에 문서 표현도 업데이트되나요?

아닙니다. 학습 중 2,100만 개 문서의 재인덱싱에 드는 높은 계산 비용을 방지하기 위해 문서 인코더와 FAISS 인덱스는 고정된 상태로 유지되며, 쿼리 인코더와 BART 생성기 파라미터만 업데이트됩니다.

검색된 문서에 정답이 없는 경우에도 RAG가 질문에 답할 수 있나요?

네, 가능합니다. 생성이 제약되지 않고 BART의 모수적 메모리에 의해 뒷받침되므로, RAG는 상위 검색 구절 중 정답 문자열이 전혀 포함되지 않은 Natural Questions 사례에서도 11.8%를 정확히 맞혔으며, 반면 추출형 모델은 0%를 기록했습니다.

세계의 사실이 변경되었을 때 RAG는 지식을 어떻게 업데이트하나요?

외부 메모리가 모듈식으로 구성되어 있기 때문에, 모델 파라미터를 재학습할 필요 없이 문서 인덱스를 최신 텍스트 덤프로 '핫스왑'(예: 2016년 Wikipedia 인덱스를 2018년 인덱스로 교체)할 수 있습니다.

이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.

XYZNOT로 읽기 (전문 번역과 AI 해설)