Llama 2: Các mô hình nền tảng mở và mô hình hội thoại tinh chỉnh

Hướng dẫn đọc

Vấn đề và Động lực

Trong khi các mô hình nền tảng mở được huấn luyện trước như LLaMA-1, BLOOM và Falcon đã bắt kịp hiệu năng thô cơ bản của các mô hình như GPT-3, thì các trợ lý hội thoại thương mại nguồn đóng (ví dụ: ChatGPT, Claude) vẫn duy trì khoảng cách dẫn trước đáng kể. Lợi thế hiệu năng này bắt nguồn từ quá trình căn chỉnh sâu sau tiền huấn luyện thông qua instruction tuning và Reinforcement Learning with Human Feedback (RLHF) — quy trình đòi hỏi tài nguyên tính toán khổng lồ, pipeline gán nhãn độc quyền và red-teaming quy mô lớn. Meta đã phát triển và phát hành mở Llama 2 cùng Llama 2-Chat (các kích thước 7B, 13B và 70B tham số, kèm theo biến thể 34B chưa phát hành) nhằm dân chủ hóa các mô hình hội thoại đã căn chỉnh, đồng thời minh bạch hóa các phương pháp luận về căn chỉnh và an toàn.

Các ý tưởng cốt lõi

• Mở rộng Pretraining: Huấn luyện trước trên 2,0 nghìn tỷ (2T) token (tăng 40% so với Llama 1) với ngữ cảnh được nhân đôi lên 4.096 token, đồng thời đưa Grouped-Query Attention (GQA) vào các mô hình 34B và 70B để tăng tốc giải mã tự hồi quy (autoregressive decoding).
• SFT chú trọng chất lượng: Chứng minh rằng hàng chục nghìn chú thích chất lượng cao từ các nhà cung cấp vượt trội hơn hàng triệu mẫu nhiễu từ bên thứ ba, giới hạn tập SFT ở mức 27.540 mẫu minh họa được tuyển chọn kỹ lưỡng.
• Mô hình hóa phần thưởng kép (Dual Reward Modeling): Huấn luyện hai mô hình phần thưởng riêng biệt — một cho Tính hữu ích (Helpfulness) và một cho Tính an toàn (Safety) — nhằm tránh sự mâu thuẫn khi các ràng buộc an toàn làm suy giảm tính hữu ích.
• Căn chỉnh RLHF hai giai đoạn: Kết hợp Rejection Sampling fine-tuning lặp (chưng cất từ mô hình 70B) với tối ưu hóa Proximal Policy Optimization (PPO) sau đó.
• Ghost Attention (GAtt): Kỹ thuật chưng cất ngữ cảnh (context-distillation) áp dụng xuyên suốt các đoạn hội thoại đa lượt nhằm duy trì sự tuân thủ chỉ dẫn hệ thống qua hơn 20 lượt hội thoại mà không bị suy giảm (instruction fading).

Phương pháp

Kiến trúc Pretraining

Llama 2 sử dụng kiến trúc transformer tự hồi quy với chuẩn hóa trước RMSNorm, hàm kích hoạt SwiGLU và rotary positional embeddings (RoPE), bổ sung GQA cho các quy mô lớn hơn (34B và 70B). Các mô hình được huấn luyện bằng AdamW (${\beta }_1=0.9,{\beta }_2=0.95$), phân rã tốc độ học cosine giảm dần về 10%, weight decay 0,1 và gradient clipping 1,0.

Mô hình hóa phần thưởng (Reward Modeling)

Người đánh giá cung cấp so sánh sở thích theo thang điểm 4 giữa hai phản hồi được lấy mẫu. Các mô hình phần thưởng được khởi tạo từ các checkpoint chat đã tiền huấn luyện và được tối ưu hóa bằng hàm mất mát nhị phân có thêm biên (margin-augmented binary ranking loss): $${\mathcal{L}}_{\text{ranking}}=-\log \left(\sigma \left(r_{\theta }(x,y_c)-r_{\theta }(x,y_r)-m(r)\right)\right)$$ trong đó $x$ là ngữ cảnh prompt, $y_c$ là phản hồi được ưa thích hơn, $y_r$ là phản hồi bị từ chối, và $m(r)$ là biên rời rạc phụ thuộc vào mức độ ưa thích của người đánh giá.

Mục tiêu RLHF

Tối ưu hóa được thực hiện qua Rejection Sampling (lấy mẫu $K$ kết quả từ chính sách mới nhất và chọn kết quả có phần thưởng cao nhất) cùng PPO. Mục tiêu PPO tối đa hóa phần thưởng kỳ vọng đồng thời phạt sự chệch hướng chính sách (policy drift) thông qua độ phân kỳ KL so với chính sách ban đầu ${\pi }_0$: $$R(g\mid p)={\tilde{R}}_c(g\mid p)-\beta D_{\text{KL}}({\pi }_{\theta }(g\mid p)\parallel {\pi }_0(g\mid p))$$ trong đó ${\tilde{R}}_c(g\mid p)$ là sự kết hợp từng đoạn đã được chuẩn hóa (whitened) và biến đổi logit từ các mô hình phần thưởng an toàn ($R_s$) và hữu ích ($R_h$): $$R_c(g\mid p)=\{\begin{array}{ll}{R}_s(g\mid p)& \text{neˆˊu }\text{textsc}is\_safety(p)\text{ hoặc }{R}_s(g\mid p)<0.15\\ R_h(g\mid p)& \text{ngược lại}\end{array}$$

Ghost Attention (GAtt)

Để đảm bảo tính nhất quán qua nhiều lượt, chỉ dẫn $inst$ được thêm vào cuối mỗi prompt của người dùng trong một hội thoại có sẵn. Các phản hồi được lấy mẫu từ chính sách mới nhất, nhưng hàm mất mát chỉ được tính toán riêng trên các token của lượt mục tiêu (triệt tiêu loss ở các lượt trước) trong khi vẫn giữ $inst$ chỉ ở lượt đầu tiên trong quá trình suy luận.

Kết quả

• Benchmark mô hình cơ sở: Llama 2 70B vượt trội hơn tất cả các mô hình cơ sở nguồn mở, đạt 68,9 trên MMLU (5-shot), 56,8 trên GSM8K (8-shot) và 51,2 trên Big-Bench Hard (3-shot), cạnh tranh trực tiếp với GPT-3.5 và PaLM-540B.
• Đánh giá hội thoại bởi con người: Trong các đánh giá của con người trên khoảng 4.000 prompt, Llama 2-Chat 70B đạt tỷ lệ thắng 36% và hòa 31,5% so với ChatGPT (gpt-3.5-turbo-0301). Llama 2-Chat 34B chiến thắng hơn 75% các lượt đối đầu trực tiếp với Vicuna-33B và Falcon 40B.
• Độ an toàn & Tính độc hại: Llama 2-Chat được căn chỉnh an toàn đã giảm tỷ lệ tạo nội dung độc hại trên ToxiGen từ 24,60% (bản 70B cơ sở) xuống 0,01%, đạt tỷ lệ vi phạm an toàn thấp hơn cả ChatGPT và Falcon trên các benchmark red-team của con người.

Hạn chế và Các câu hỏi mở

• Lập trình & Suy luận phức tạp: Llama 2 70B vẫn tụt lại khá xa so với GPT-4 và PaLM-2-L trên các benchmark lập trình (HumanEval pass@1 đạt 29,9% so với 67,0% của GPT-4).
• Độ phủ ngôn ngữ: Khoảng 89,7% dữ liệu tiền huấn luyện là tiếng Anh, khiến hiệu năng và việc căn chỉnh an toàn của mô hình trở nên kém ổn định trên các ngôn ngữ khác.
• Từ chối nhầm (False Refusal) & Quá thận trọng: Việc tinh chỉnh an toàn nghiêm ngặt dẫn đến hiện tượng từ chối nhầm các prompt ranh giới (ví dụ: từ chối các câu hỏi vô hại có chứa từ khóa nhạy cảm như 'bomb' hoặc 'Christmas Crack').
• Trì hoãn phát hành bản 34B: Biến thể mô hình 34B chưa được phát hành rộng rãi do không đủ thời gian thực hiện red-teaming trước thời điểm công bố.