Họ mô hình Llama 3

Hướng dẫn đọc

Vấn đề và động lực

Các hệ thống trí tuệ nhân tạo hiện đại phụ thuộc rất lớn vào các mô hình nền tảng quy mô lớn, tuy nhiên những mô hình mạnh mẽ nhất (như GPT-4) vẫn là mã nguồn đóng. Việc xây dựng một mô hình mã nguồn mở thuộc nhóm dẫn đầu đòi hỏi phải vượt qua những nút thắt kỹ thuật khổng lồ trên ba trụ cột: xử lý dữ liệu, quy mô tính toán và kiểm soát độ phức tạp.

Các tác giả đã phát triển Llama 3, một họ mô hình ngôn ngữ đa ngữ bao gồm các kích thước 8B, 70B và 405B tham số, hỗ trợ cửa sổ ngữ cảnh lên tới 128K token, khả năng sử dụng công cụ zero-shot và multi-step, suy luận nâng cao cũng như sinh mã nguồn.

Các ý tưởng cốt lõi

• Kiểm soát độ phức tạp bằng kiến trúc dày đặc (Dense Architecture): Thay vì chuyển sang kiến trúc Mixture-of-Experts (MoE), các tác giả giữ nguyên kiến trúc Transformer dày đặc tiêu chuẩn (126 lớp, số chiều 16,384, 128 attention head cho bản 405B) kết hợp với Grouped-Query Attention (GQA) và RoPE với tần số cơ sở $\theta =500,000$ nhằm tối đa hóa độ ổn định khi pre-training.
• Mở rộng quy mô dữ liệu và lọc nghiêm ngặt: Dữ liệu pre-training được mở rộng từ 1.8T token của Llama 2 lên khoảng 15.6T token trên nhiều lĩnh vực đa dạng (~50% kiến thức chung, 25% toán học/suy luận, 17% mã nguồn, 8% đa ngôn ngữ).
• Định luật mở rộng quy mô có thể dự đoán (Predictable Scaling Laws): Một khung định luật mở rộng quy mô hai giai đoạn liên kết lượng tính toán với hiệu năng của tác vụ downstream (như ARC Challenge) qua bốn bậc độ lớn (orders of magnitude) trước khi bắt đầu huấn luyện.
• Post-training lặp (Iterative Post-Training): Sáu vòng căn chỉnh (alignment) kết hợp Supervised Fine-Tuning (SFT), Rejection Sampling (RS) và Direct Preference Optimization (DPO) cùng với việc tạo dữ liệu tổng hợp (synthetic data) có định hướng.
• Hạ tầng & Song song 4D (4D Parallelism): Pre-training bản 405B trên hệ thống lên tới 16K GPU H100 bằng cách kết hợp Tensor Parallelism (TP), Context Parallelism (CP), Pipeline Parallelism (PP) và Fully Sharded Data Parallelism (FSDP/DP).

Phương pháp (kèm các phương trình chính)

1. Công thức định luật mở rộng quy mô (Scaling Law)

Việc phân bổ token tối ưu cho tính toán được mô hình hóa dưới dạng hàm lũy thừa của ngân sách tính toán $C$:

$$N^{\star }(C)=A{C}^{\alpha }$$

Khớp thực nghiệm trên các mức ngân sách tính toán từ $6\times 10^{18}$ đến $10^{22}$ FLOP xác định được $(\alpha ,A)=(0.53,0.29)$. Ngoại suy sang ngân sách mục tiêu là $3.8\times 10^{25}$ FLOP cho thấy nên huấn luyện một mô hình 402B tham số trên 16.55T token, làm cơ sở định hình kiến trúc cuối cùng là 405B tham số.

2. Mở rộng cửa sổ ngữ cảnh và Attention Masking

Việc mở rộng ngữ cảnh từ 8K lên 128K token diễn ra qua sáu giai đoạn pre-training liên tục với khoảng 800B token. Để tránh hiện tượng nhiễm chéo giữa các tài liệu được đóng gói (packed) trong cùng một chuỗi ngữ cảnh dài, một attention mask tài liệu tùy chỉnh đã được áp dụng.

Context Parallelism (CP) chia các chuỗi đầu vào thành $2\times \text{CP}$ đoạn, thực hiện mẫu giao tiếp all-gather trên các biểu diễn key ($K$) và value ($V$). Do GQA giảm kích thước của $K$ và $V$ so với query ($Q$), chi phí giao tiếp all-gather $O(S)$ là không đáng kể so với chi phí tính toán attention $O(S^2)$.

3. Tùy chỉnh Direct Preference Optimization (DPO)

Trong quá trình tối ưu hóa sở thích, các token định dạng (tiêu đề và dấu hiệu kết thúc) được loại bỏ một cách rõ ràng khỏi hàm mất mát DPO để tránh việc lặp lại phần đuôi hoặc dừng quá sớm. Hơn nữa, một số hạng điều chuẩn negative log-likelihood (NLL) phụ trợ được thêm vào chuỗi được chọn (chosen sequence):

$${\mathcal{L}}_{\text{reg}}=0.2\cdot {\mathcal{L}}_{\text{NLL}}(\text{chosen})$$

Kết quả (với các số liệu quan trọng nhất)

• Benchmark của bản đầu bảng 405B:
  • MMLU (5-shot): 87.3% (0-shot CoT: 88.6%)
  • GSM8K (8-shot, CoT): 96.8%
  • MATH (0-shot, CoT): 73.8%
  • HumanEval (0-shot): 89.0%
  • ARC Challenge (0-shot): 96.9%
  • IFEval: 88.6%
• Các mô hình nhỏ hơn (8B và 70B): Cả hai mô hình đều vượt trội hơn các mô hình mã nguồn mở cùng phân khúc (ví dụ: Gemma 2 9B, Mistral 7B, Mixtral 8x22B). Chẳng hạn, Llama 3 8B đạt 73.0% trên MMLU 0-shot CoT và 84.5% trên GSM8K.
• Ngữ cảnh dài (Long Context): Đạt độ chính xác tuyệt đối 100% trong bài kiểm tra truy xuất đơn Needle-In-A-Haystack lên tới 128K token, và 98.1% trên Multi-needle recall đối với mô hình 405B.
• Hiệu quả Pre-training: BF16 Model FLOPs Utilization (MFU) đạt 38–43% trên các cấu hình với 16,384 GPU H100, duy trì hơn 90% thời gian huấn luyện hiệu dụng trong suốt giai đoạn theo dõi 54 ngày dù gặp phải 466 lần gián đoạn.

Hạn chế và các câu hỏi mở

• Độ tin cậy phần cứng và biến động quy mô: Ở quy mô 16K GPU, sự cố gián đoạn phần cứng xảy ra trung bình vài lần mỗi ngày (78% gián đoạn bất ngờ là do sự cố phần cứng/GPU). Sự biến động công suất đồng thời lên tới hàng chục megawatt trong quá trình lưu checkpoint hoặc các bước collective đặt ra thách thức lớn cho lưới điện của trung tâm dữ liệu.
• Khoảng cách về độ bền vững trước tấn công đối kháng (Adversarial Robustness): Mặc dù kiên cố trên các benchmark diễn giải lại (PAWS), các benchmark đối kháng về suy luận toán học và QA (GSM-Plus, Adv SQuAD) lại cho thấy sự suy giảm đáng kể so với các benchmark không đối kháng.
• Khả năng tiếp cận đa phương thức: Các adapter cho thị giác và tiếng nói đã thể hiện năng lực cạnh tranh trong môi trường nghiên cứu, nhưng vẫn đang được tiếp tục phát triển và chưa được đưa vào bản phát hành công khai ban đầu.