Finetuned Language Models Are Zero-Shot Learners

Hướng dẫn đọc

Vấn đề và động lực

Các mô hình ngôn ngữ lớn (như GPT-3 175B) rất xuất sắc trong học few-shot nhờ tận dụng các ví dụ mẫu theo ngữ cảnh (in-context exemplars). Tuy nhiên, khả năng zero-shot của chúng vẫn còn yếu đáng kể trên các bộ tiêu chuẩn NLP phức tạp như đọc hiểu, suy luận ngôn ngữ tự nhiên (NLI) và trả lời câu hỏi. Các mô hình chưa tinh chỉnh phụ thuộc vào các prompt được định dạng như phần tiếp nối của dữ liệu tiền huấn luyện, vốn là một định dạng không tự nhiên và dễ gãy (brittle) đối với các tác vụ thường được diễn đạt dưới dạng các chỉ dẫn hoặc câu hỏi tường minh.

Các tác giả khám phá liệu việc tinh chỉnh có giám sát trên một tập hợp rộng lớn các tác vụ NLP đa dạng, được diễn đạt rõ ràng dưới dạng các chỉ dẫn bằng ngôn ngữ tự nhiên, có giúp mô hình ngôn ngữ khái quát hóa zero-shot sang các loại tác vụ hoàn toàn mới tại thời điểm suy luận hay không.

Các ý tưởng cốt lõi

• Instruction Tuning: Chuyển đổi các tập dữ liệu NLP hiện có thành định dạng chỉ dẫn - phản hồi (instruction-response) bằng cách sử dụng các mẫu prompt ngôn ngữ tự nhiên, kết hợp giám sát đa tác vụ (multitask supervision) với prompting.
• Loại trừ cụm tác vụ (Task Cluster Holdout): Nhóm các tập dữ liệu thành các cụm theo chủ đề (ví dụ: NLI, Closed-Book QA, Translation, Sentiment). Khi kiểm thử khả năng khái quát hóa zero-shot trên một cụm mục tiêu $\mathcal{D}$, tất cả các tập dữ liệu thuộc $\mathcal{D}$ (và các cụm liên quan chặt chẽ) đều bị loại khỏi quá trình huấn luyện để đảm bảo việc đánh giá zero-shot giữa các tác vụ là thực chất.
• Phân loại kèm các lựa chọn (Classification with Options): Đối với các tác vụ phân loại, thêm hậu tố OPTIONS: liệt kê trực tiếp các nhãn ứng viên hợp lệ vào prompt, định hướng phân phối đầu ra của mô hình sinh mà không giới hạn nó hoàn toàn vào việc so sánh logit phân loại xếp hạng.

Phương pháp

Mô hình cơ sở là LaMDA-PT, một mô hình transformer dạng decoder-only, dày đặc (dense), quét từ trái sang phải với 137 tỷ tham số, được tiền huấn luyện trên 2,49T BPE token bao gồm tài liệu web, mã nguồn, Wikipedia và dữ liệu hội thoại (khoảng 10% không phải tiếng Anh).

1. Tổng hợp dữ liệu: 62 tập dữ liệu từ TensorFlow Datasets được nhóm thành 12 cụm. Với mỗi tập dữ liệu, 10 mẫu chỉ dẫn ngôn ngữ tự nhiên duy nhất được xây dựng (bao gồm tối đa 3 mẫu 'đảo ngược', ví dụ: sinh văn bản dựa trên cảm xúc cho trước).
2. Thiết lập huấn luyện: Số lượng mẫu huấn luyện cho mỗi tập dữ liệu được giới hạn ở mức 30k. Các batch được xây dựng bằng cơ chế trộn tỷ lệ theo số ví dụ (examples-proportional mixing) với giới hạn tỷ lệ trộn tối đa là 3.000 để ngăn các tập dữ liệu lớn áp đảo. Quá trình huấn luyện diễn ra trong 30k bước gradient với kích thước batch 8.192 token, sử dụng bộ tối ưu hóa Adafactor (tốc độ học $3\times 10^{-5}$), độ dài chuỗi 1024 (đầu vào) và 256 (đích), kết hợp đóng gói chuỗi (sequence packing).
3. Giao thức đánh giá: Để đánh giá trên $c$ cụm bị giữ lại, $c$ mô hình FLAN riêng biệt được huấn luyện. Hiệu năng được báo cáo dưới dạng giá trị trung bình trên tất cả các mẫu chỉ dẫn và với mẫu tốt nhất được chọn trên tập validation.
4. Suy luận với các ví dụ Few-Shot: Khi có sẵn $k$ ví dụ $(x_i,y_i)$, đầu vào được định dạng như sau: $$\text{instruct}(x_1)\oplus y_1\oplus \text{instruct}(x_2)\oplus y_2\oplus \cdots \oplus \text{instruct}(x_k)\oplus y_k\oplus \text{instruct}(x)$$ trong đó $\oplus$ đại diện cho phép nối chuỗi với một token phân cách, giới hạn tối đa 16 ví dụ và 960 token.

Kết quả

• So sánh Zero-Shot với GPT-3: Khi sử dụng mẫu tốt nhất trên tập dev, FLAN 137B zero-shot vượt trội hơn GPT-3 175B zero-shot trên 20/25 bộ tiêu chuẩn được đánh giá và vượt qua GPT-3 few-shot trên 10 tập dữ liệu, bao gồm ANLI R1–R3, RTE, BoolQ, OpenbookQA và StoryCloze.
• Các loại tác vụ: Mức cải thiện lớn xuất hiện trên các tác vụ vốn được diễn đạt tự nhiên dưới dạng chỉ dẫn (ví dụ: NLI, đọc hiểu, closed-book QA, dịch thuật). Trên RTE, FLAN đạt 84,1% (mẫu dev tốt nhất) so với 63,5% của GPT-3 zero-shot và 72,9% của GPT-3 few-shot. Trên BoolQ, FLAN đạt 82,9% so với 60,5% của GPT-3 zero-shot và 77,5% của GPT-3 few-shot.
• Phụ thuộc vào quy mô (Scale Dependency): Các ablation trên các quy mô 422M, 2B, 8B, 68B và 137B tham số tiết lộ rằng instruction tuning làm giảm khả năng khái quát hóa zero-shot trên các tác vụ mới đối với các mô hình $\le 8\text{B}$ tham số. Sự chuyển giao tích cực chỉ xuất hiện ở quy mô lớn ($\sim 68\text{B}$ và $137\text{B}$).
• Tầm quan trọng của chỉ dẫn: Việc tinh chỉnh không có mẫu chỉ dẫn (chỉ có đầu vào - đầu ra: trung bình 4 cụm đạt 37,3%) hoặc chỉ có tên tập dữ liệu (46,6%) cho kết quả zero-shot kém hơn đáng kể so với các chỉ dẫn tự nhiên (55,2%).
• Khả năng tương thích với Prompt Tuning: Kỹ thuật prompt tuning hiệu quả về tham số khi áp dụng cho FLAN mang lại độ chính xác SuperGLUE cao hơn so với khi áp dụng cho mô hình cơ sở LaMDA-PT chưa tinh chỉnh, đặc biệt trong các trường hợp ít tài nguyên với 32 ví dụ.

Hạn chế và các câu hỏi mở

• Tác vụ hoàn thành câu (Sentence-Completion Tasks): Instruction tuning mang lại rất ít lợi ích (và đôi khi làm giảm hiệu năng) trên các tác vụ theo phong cách mô hình hóa ngôn ngữ nơi chỉ dẫn trở nên dư thừa, chẳng hạn như Winogrande hoặc hoàn thành câu trong suy luận suy xét thông thường (commonsense reasoning).
• Độ phức tạp của chỉ dẫn: Bài báo chỉ mới nghiên cứu các chỉ dẫn ngắn, đơn câu thay vì các hướng dẫn prompt dài, phức tạp như thường được giao cho người đánh giá (human raters).
• Cửa sổ ngữ cảnh & Chi phí tính toán: Cửa sổ ngữ cảnh 1024 token của FLAN đã cản trở việc đánh giá chặt chẽ trên các tác vụ tóm tắt văn bản. Hơn nữa, việc chạy và phục vụ (serving) một mô hình dày đặc 137B tham số đòi hỏi tài nguyên tính toán rất lớn.