Language Models are Few-Shot Learners

Hướng dẫn đọc

Vấn đề và động lực

Quy trình chuẩn gồm tiền huấn luyện kết hợp tinh chỉnh đòi hỏi các tập dữ liệu được gán nhãn đặc thù cho tác vụ với kích thước lớn (thường từ hàng nghìn đến hàng trăm nghìn ví dụ). Yêu cầu này làm hạn chế khả năng ứng dụng chung, tăng tính nhạy cảm với các tương quan giả và khác biệt với cách học của con người—vốn có thể thích ứng với tác vụ chỉ bằng các chỉ dẫn hoặc ví dụ minh họa tối thiểu. Các nỗ lực trước đây về in-context learning với các mô hình nhỏ hơn đều thua kém phương pháp tinh chỉnh với khoảng cách rất lớn.

Các ý tưởng cốt lõi

• In-Context Meta-Learning: Mô hình tiếp thu các kỹ năng nhận diện mẫu trong quá trình tiền huấn luyện và thực hiện thích ứng tác vụ trong không gian kích hoạt (activation space) ở các lượt lan truyền xuôi lúc suy luận mà không cần cập nhật gradient.
• Dải phổ điều kiện hóa: Các tác vụ được thử nghiệm qua zero-shot (chỉ có chỉ dẫn), one-shot (chỉ dẫn + một ví dụ minh họa) và few-shot ($K$ ví dụ minh họa, thường từ 10 đến 100 trong cửa sổ 2048 token).
• Quy luật mở rộng có thể dự đoán (Predictable Scaling): Quy luật hàm mũ (power-law) thực nghiệm của validation loss chuyển hóa thành sự cải thiện năng lực liên tục trên các tác vụ xuôi dòng qua 8 kích thước mô hình (từ 125M đến 175B tham số).

Phương pháp

GPT-3 sử dụng kiến trúc transformer tự hồi quy tương tự GPT-2, bổ sung các mẫu attention xen kẽ giữa dense attention và locally banded sparse attention. Các mô hình được tiền huấn luyện trên 300 tỷ token với kích thước ngữ cảnh hiệu dụng là $n_{\mathrm{ctx}}=2048$.

Các công thức đánh giá chính bao gồm:

• Per-Token Completion Likelihood: Đối với các tập dữ liệu trắc nghiệm, các lựa chọn hoàn thành ứng viên được đánh giá bằng cách so sánh xác suất token đã chuẩn hóa.
• Unconditional Normalization: Trên các benchmark như ARC, OpenBookQA và RACE, likelihood của mô hình được chuẩn hóa theo một baseline không điều kiện: $$\frac{P(\mathrm{completion}\mid \mathrm{context})}{P(\mathrm{completion}\mid answer\_context)}$$ trong đó $answer\_context$ là một prompt chung như "Answer: " hoặc "A: ".
• Giải mã thế hệ (Generation Decoding): Các tác vụ hoàn thành dạng tự do sử dụng beam search với beam width bằng 4 và length penalty $\alpha =0.6$.

Kết quả

• Closed-Book QA: GPT-3 175B đạt 71.2% ở thiết lập few-shot trên TriviaQA (vượt qua mô hình RAG tinh chỉnh miền mở ở mức 68.0%), 41.5% trên WebQuestions và 29.9% trên Natural Questions.
• Mô hình hóa ngôn ngữ & Cloze: Đạt perplexity 20.5 trên PTB (zero-shot). Trên LAMBADA, khi cấu trúc tác vụ dưới dạng bài kiểm tra cloze, mô hình đạt độ chính xác few-shot là 86.4% (cao hơn 18% so với SOTA trước đó).
• Dịch thuật: Dịch sang tiếng Anh đạt 39.2 BLEU (Fr $\to$ En), 40.6 BLEU (De $\to$ En) và 39.5 BLEU (Ro $\to$ En), vượt trội hơn các baseline NMT không giám sát trước đó.
• Suy luận & Tổng hợp: Giải phép cộng 2 chữ số với độ chính xác 100% và phép cộng 3 chữ số đạt 80.4% trong thiết lập few-shot. Tạo ra các bài báo tổng hợp mà người đánh giá chỉ phân biệt được với bài viết thực tế với độ chính xác 52% (gần như ngẫu nhiên).

Hạn chế và các câu hỏi mở

• Các tác vụ yếu: Gặp khó khăn với các so sánh qua nhiều chuỗi, đặc biệt là NLI (ví dụ: ANLI, RTE) và Word-in-Context (WiC ở mức 49.4%, gần như ngẫu nhiên).
• Hạn chế cấu trúc: Quá trình huấn luyện thuần tự hồi quy ngăn cản việc điều kiện hóa hai chiều, gây ảnh hưởng tiêu cực đến các tác vụ đòi hỏi phải nhìn lại (lookback) hoặc đọc lại toàn bộ chuỗi.
• Nhiễm bẩn dữ liệu (Data Contamination): Việc thu thập dữ liệu web quy mô lớn dẫn đến sự trùng lặp giữa tập train và tập test, đòi hỏi phải thực hiện các cuộc kiểm tra lọc $n$-gram hậu kỳ kỹ lưỡng (ví dụ trên Winograd và PIQA).
• Tác động xã hội: Huấn luyện ở quy mô Internet dung nạp các thiên kiến đáng kể về giới tính, chủng tộc và tôn giáo; các nội dung được tạo ra có thể bị lạm dụng để tạo văn bản độc hại.