Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Hướng dẫn đọc

Vấn đề và Động lực

Các mô hình ngôn ngữ tiền huấn luyện lưu trữ lượng tri thức thực tế đáng kể trong các tham số của chúng (bộ nhớ tham số). Tuy nhiên, chúng có những nhược điểm lớn: khó mở rộng hoặc cập nhật tri thức nếu không huấn luyện lại, không thể dễ dàng cung cấp xuất xứ nguồn gốc hay khả năng diễn giải cho đầu ra, và dễ bị ảo giác.

Trong khi các mô hình lai tham số/phi tham số như REALM và ORQA đã kết hợp khả năng truy xuất khả vi với masked language modeling, chúng chỉ giới hạn ở việc trả lời câu hỏi dạng trích xuất (extractive question answering). Các kiến trúc sequence-to-sequence (seq2seq) tiêu chuẩn như BART và T5 phần lớn vẫn là dạng "closed-book". Công trình này thu hẹp khoảng cách đó bằng cách đề xuất Retrieval-Augmented Generation (RAG), một khung tinh chỉnh tổng quát kết hợp bộ truy xuất nơ-ron dày đặc tiền huấn luyện với bộ sinh seq2seq tự hồi quy cho cả tác vụ sinh và phân loại miền mở.

Các Ý tưởng Chính

• Bộ nhớ Lai Tham số và Phi tham số: Bộ nhớ phi tham số bao gồm một chỉ mục vector dày đặc trên 21 triệu đoạn văn Wikipedia dài 100 từ, được truy cập thông qua Maximum Inner Product Search (MIPS). Bộ nhớ tham số là bộ sinh BART tiền huấn luyện.
• Tinh chỉnh Đầu-cuối: Bộ mã hóa truy vấn và bộ sinh được huấn luyện đồng thời bằng cách xem các đoạn văn được truy xuất là các biến ẩn và cực tiểu hóa hàm log-likelihood biên âm của các token mục tiêu mà không cần giám sát truy xuất tường minh.
• Hai Dạng Thức Điều Kiện Hóa:
  • RAG-Sequence: Điều kiện hóa trên cùng một tài liệu được truy xuất xuyên suốt toàn bộ chuỗi được sinh ra.
  • RAG-Token: Cho phép mỗi token được sinh ra chú ý và cận biên hóa trên các đoạn văn truy xuất khác nhau.
• Hoán đổi Nhanh Tri thức Thế giới (Hot-Swappable): Chỉ mục bên ngoài có thể được tráo đổi tại thời điểm suy luận (ví dụ: đổi chỉ mục Wikipedia 2016 sang 2018) để cập nhật tri thức thế giới mà không cần sửa đổi trọng số mô hình.

Phương pháp

Cho một chuỗi đầu vào $x$, bộ truy xuất $p_{\eta }(z|x)$ tạo ra một phân phối trên các tài liệu $z$, và bộ sinh $p_{\theta }(y_i|x,z,y_{1:i-1})$ sinh các token mục tiêu có điều kiện trên cả $x$ và $z$.

Bộ truy xuất sử dụng Dense Passage Retriever (DPR): $$p_{\eta }(z|x)\propto \exp \left(\mathbf{d}(z{)}^{\top }\mathbf{q}(x)\right)$$ trong đó $\mathbf{d}(z)={\text{BERT}}_d(z)$ và $\mathbf{q}(x)={\text{BERT}}_q(x)$. Top-$k$ ứng viên được truy xuất bằng FAISS MIPS. Chỉ mục tài liệu và bộ mã hóa tài liệu ${\text{BERT}}_d$ được giữ cố định, trong khi ${\text{BERT}}_q$ và các tham số của bộ sinh BART $\theta$ được tinh chỉnh.

RAG-Sequence

Mô hình coi tài liệu được truy xuất là một biến ẩn duy nhất xuyên suốt toàn bộ chuỗi $y$: $$p_{\text{RAG-Sequence}}(y|x)\approx \sum _{z\in \text{top-}k(p(\cdot |x))}{p}_{\eta }(z|x)\prod _i^N{p}_{\theta }(y_i|x,z,y_{1:i-1})$$ Quá trình giải mã có thể được đánh giá bằng Thorough Decoding (chạy beam search trên từng tài liệu và tính toán lượt truyền xuôi cho các giả thuyết ứng viên trên tất cả các tài liệu) hoặc Fast Decoding (xấp xỉ xác suất beam bị thiếu bằng 0).

RAG-Token

Mô hình cận biên hóa trên các tài liệu tại mỗi bước token, cho phép kết hợp nội dung ở cấp độ token từ nhiều nguồn khác nhau: $$p_{\text{RAG-Token}}(y|x)\approx \prod _i^N\sum _{z\in \text{top-}k(p(\cdot |x))}{p}_{\eta }(z|x)p_{\theta }(y_i|x,z,y_{1:i-1})$$ Điều này mang lại xác suất chuyển đổi tự hồi quy tiêu chuẩn, có thể tích hợp trực tiếp vào beam search.

Kết quả

• Open-Domain QA: RAG thiết lập các kết quả SOTA mới trên các bộ chuẩn mở bằng độ đo Exact Match (EM):
  • Natural Questions: 44.5 (RAG-Seq) so với 41.5 (DPR) và 36.6 (T5-11B+SSM).
  • TriviaQA (tập chia mở chuẩn): 56.8 (RAG-Seq); trên tập kiểm thử TQA-Wiki: 68.0 (RAG-Seq) so với 60.5 (T5-11B+SSM).
  • WebQuestions: 45.5 (RAG-Token) so với 41.1 (DPR).
  • CuratedTrec: 52.2 (RAG-Seq) so với 50.6 (DPR).
  • Đáng chú ý, trên Natural Questions, RAG đạt 11.8% EM ngay cả khi câu trả lời đúng hoàn toàn không xuất hiện trong ngữ cảnh được truy xuất (nơi các mô hình trích xuất đạt 0%).
• Sinh Tóm tắt Trừu tượng (Abstractive Generation): Trên Open MS-MARCO, RAG-Sequence đạt 40.8 Rouge-L và 44.2 Bleu-1, vượt trội hơn BART (38.2 Rouge-L, 41.6 Bleu-1).
• Sinh Câu hỏi Jeopardy: Người đánh giá nhận định RAG-Token chuẩn xác về mặt thực tế hơn BART trong 42.7% trường hợp so với chỉ 7.1% BART vượt trội hơn. Người đánh giá cũng thấy RAG cụ thể hơn (37.4% so với 16.8%).
• Xác thực Sự thật (Fact Verification): Trên FEVER 3 nhãn, RAG đạt độ chính xác nhãn 72.5% (chỉ kém 4.3% so với các hệ thống đường ống sử dụng bằng chứng vàng có giám sát); trên phân loại 2 nhãn, RAG đạt độ chính xác 89.5%.
• Cập nhật Tri thức qua Hot-Swapping: Sử dụng bài kiểm tra thời gian với 82 nhà lãnh đạo giữa năm 2016 và 2018, RAG đạt độ chính xác 70% cho các nhà lãnh đạo năm 2016 khi dùng chỉ mục 2016 và 68% cho các nhà lãnh đạo 2018 với chỉ mục 2018, nhưng giảm mạnh (xuống 12% và 4%) khi dùng lệch chỉ mục.

Giới hạn và Hướng mở

• Sụp đổ Truy xuất (Retrieval Collapse): Đối với các tác vụ yêu cầu điều kiện hóa thực tế tường minh yếu hơn (chẳng hạn như sinh câu chuyện mở), bộ truy xuất có thể sụp đổ về việc luôn truy xuất các tài liệu tĩnh, cố định trong khi bộ sinh học cách bỏ qua chúng.
• Chỉ mục Tài liệu Cố định: Bộ mã hóa tài liệu được giữ tĩnh trong quá trình tinh chỉnh tác vụ do chi phí tính toán quá lớn nếu phải liên tục đánh chỉ mục lại 21 triệu vector, làm hạn chế khả năng thích ứng của bộ truy xuất.
• Nguồn gốc Căn cứ và Thiên kiến: Bộ nhớ phi tham số vẫn dễ bị ảnh hưởng bởi thông tin sai lệch và thiên kiến tiềm ẩn trong kho ngữ liệu tri thức gốc (Wikipedia).
• Tiền huấn luyện Đồng thời (Joint Pre-training): Các thành phần truy xuất và sinh được tiền huấn luyện riêng biệt trước khi tinh chỉnh trên tác vụ xuôi dòng, do đó việc tiền huấn luyện đồng thời từ đầu vẫn là một hướng nghiên cứu mở.