LLaMA: Open and Efficient Foundation Language Models

Hugo Touvron; Thibaut Lavril; Gautier Izacard; Xavier Martinet; Marie-Anne Lachaux; Timothée Lacroix; Baptiste Rozière; Naman Goyal; Eric Hambro; Faisal Azhar; Aurelien Rodriguez; Armand Joulin; Edouard Grave; Guillaume Lample

Bài báo · arXiv 2302.13971

LLaMA: Các mô hình ngôn ngữ nền tảng mở và hiệu quả

LLaMA: Open and Efficient Foundation Language Models

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin et al.

Xuất bản 2023-02-27cs.CL arXiv PDF

Đọc với bản dịch và AI

Tóm tắt trong ba dòng

🎯 Phần lớn các LLM hàng đầu phụ thuộc vào số lượng tham số khổng lồ hoặc tập dữ liệu độc quyền, gây tốn kém chi phí phục vụ (serving) và cản trở việc tiếp cận nghiên cứu.
🔧 Huấn luyện các mô hình transformer nhỏ gọn (7B đến 65B) trên 1.0T đến 1.4T token chỉ sử dụng dữ liệu nguồn mở, kết hợp RMSNorm, SwiGLU và RoPE.
📈 LLaMA-13B vượt qua GPT-3 (175B) trên hầu hết các benchmark, trong khi LLaMA-65B đạt 68,9% trên MMLU sau khi tinh chỉnh chỉ dẫn (instruction tuning) đơn giản.

Tóm tắt

Chúng tôi giới thiệu LLaMA, một tập hợp các mô hình ngôn ngữ nền tảng có quy mô từ 7B đến 65B tham số. Chúng tôi huấn luyện các mô hình của mình trên hàng nghìn tỷ token và chứng minh rằng hoàn toàn có thể huấn luyện các mô hình đạt hiệu năng tiên tiến nhất (state-of-the-art) chỉ bằng các tập dữ liệu công khai, mà không cần dựa vào các tập dữ liệu độc quyền và không thể tiếp cận. Cụ thể, LLaMA-13B vượt trội hơn GPT-3 (175B) trên hầu hết các benchmark, còn LLaMA-65B có khả năng cạnh tranh trực tiếp với các mô hình tốt nhất như Chinchilla-70B và PaLM-540B. Chúng tôi phát hành toàn bộ các mô hình của mình cho cộng đồng nghiên cứu.

Tóm tắt gốc (tiếng Anh)

We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, without resorting to proprietary and inaccessible datasets. In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla-70B and PaLM-540B. We release all our models to the research community.

Hướng dẫn đọc

Vấn đề và động lực

Các định luật mở rộng quy mô (scaling laws) tiêu chuẩn (như Chinchilla) tính toán sự cân hiệp tối ưu giữa kích thước tham số và kích thước tập dữ liệu cho một ngân sách tính toán huấn luyện cố định. Tuy nhiên, cách tiếp cận này bỏ qua ngân sách suy luận (inference budget) – yếu tố chiếm phần lớn chi phí vận hành trong toàn bộ vòng đời triển khai các mô hình ngôn ngữ. Để đạt hiệu quả phục vụ tối ưu, các mô hình nhỏ hơn được huấn luyện trên lượng dữ liệu nhiều hơn đáng kể so với khuyến nghị tối ưu tính toán sẽ được ưu tiên hơn, vì chúng có chi phí lưu trữ và vận hành rẻ hơn rất nhiều.

Ngoài ra, các mô hình hàng đầu hiện nay (như GPT-3, Chinchilla và PaLM) đều phụ thuộc vào các tập dữ liệu đóng, không thể tái lập, hoặc các kiến trúc quá lớn. LLaMA chứng minh rằng các mô hình nền tảng có năng lực cạnh tranh cao có thể được huấn luyện hoàn toàn từ dữ liệu công khai, cho phép phân phối mở cho các nhà nghiên cứu.

Các ý tưởng cốt lõi

Huấn luyện tập trung vào suy luận (Inference-centric training): Thay vì dừng huấn luyện ở kích thước tập dữ liệu tối ưu tính toán (ví dụ: ~200B token cho một mô hình 10B), LLaMA huấn luyện các mô hình 7B và 13B trên 1.0T token, và các mô hình 33B và 65B trên 1.4T token.
Chỉ sử dụng tập dữ liệu mở: Toàn bộ dữ liệu tiền huấn luyện được lấy từ các nguồn công khai: CommonCrawl (67%), C4 (15%), GitHub (4,5%), Wikipedia (4,5%), Books (4,5%), ArXiv (2,5%) và Stack Exchange (2%).
Kiến trúc Transformer hiện đại hóa: Tích hợp chuẩn hóa trước (pre-normalization) với RMSNorm để tăng tính ổn định, hàm kích hoạt SwiGLU và Rotary Positional Embeddings (RoPE) thay cho nhúng vị trí tuyệt đối.
Tối ưu hóa kỹ thuật: Sử dụng cơ chế attention tiết kiệm bộ nhớ (thông qua xformers), kỹ thuật checkpointing kích hoạt tùy chỉnh, cùng kỹ thuật song song hóa chuỗi và mô hình (sequence/model parallelism).

Phương pháp

LLaMA sử dụng kiến trúc Transformer decoder tự hồi quy với các cải tiến:

Chuẩn hóa trước (Pre-normalization): Chuẩn hóa đầu vào bằng RMSNorm trước mỗi phân lớp (sub-layer): $\overset{a}{ˉ}_{i} = \frac{a _{i}}{RMS ( a )} g_{i}, với RMS (a) = \frac{1}{d} i = 1 \sum d a_{i}^{2}$
Hàm kích hoạt SwiGLU: Thay thế các hàm kích hoạt tiêu chuẩn ReLU/GELU bằng SwiGLU, đặt kích thước chiều ẩn trung gian thành $\frac{2}{3} 4 d$ thay vì $4 d$ .
Rotary Embeddings (RoPE): Được áp dụng ở mọi lớp để mã hóa vị trí tương đối mà không cần nhúng vị trí tuyệt đối.
Tối ưu hóa: AdamW với $β_{1} = 0.9, β_{2} = 0.95$ , weight decay là $0.1$ , gradient clipping là $1.0$ , $2, 000$ bước khởi động (warmup steps), và lịch trình suy giảm tốc độ học cosine giảm dần về 10% của tốc độ học cực đại. Kích thước batch là 4M token trên mọi quy mô mô hình.

Ước tính mức tiêu thụ năng lượng và phát thải carbon trong các lượt huấn luyện được tính như sau: $Wh = GPU-h \times (mức ti \overset{e}{ˆ} u thụ đ iện n \overset{a}{˘} ng GPU) \times PUE$ $tCO_{2} eq = MWh \times 0.385$

Kết quả

Suy luận thông thường (Common Sense Reasoning): LLaMA-13B vượt qua GPT-3 (175B) trên nhiều benchmark (ví dụ: 78,1% so với 60,5% trên BoolQ; 73,0% so với 70,2% trên WinoGrande). LLaMA-65B tương đương hoặc vượt qua PaLM-540B trên PIQA (82,8% so với 82,3%) và HellaSwag (84,2% so với 83,4%).
Hỏi đáp sách đóng (Closed-book QA): Trên TriviaQA (0-shot), LLaMA-65B đạt 68,2% và LLaMA-13B đạt 56,6% (vượt qua hiệu năng tương đương của GPT-3 dù có thể chạy suy luận trên một GPU V100 duy nhất).
Sinh mã nguồn (Code Generation): Trên HumanEval (pass@1), LLaMA-65B đạt 23,7%, vượt trội hơn PaLM-62B (15,9%) và ngang bằng với PaLM-cont 62B (23,7%).
MMLU & Tinh chỉnh chỉ dẫn (Instruction Finetuning): Bản LLaMA-65B gốc đạt độ chính xác 5-shot 63,4% trên MMLU (thấp hơn 69,3% của PaLM-540B, có thể do tập dữ liệu sách tiền huấn luyện nhỏ hơn). Tuy nhiên, tinh chỉnh chỉ dẫn trên các prompt cơ bản (LLaMA-I 65B) đã nâng hiệu năng lên 68,9%.

Hạn chế và các câu hỏi mở

Hiện tượng ảo giác và tính trung thực: Điểm số trên TruthfulQA vẫn ở mức khiêm tốn (LLaMA-65B đạt 0,57 ở tiêu chí Truthful và 0,53 ở tiêu chí Truthful*Informative), cho thấy xu hướng tiếp tục tạo ra ảo giác.
Sự gia tăng độc hại theo quy mô (Toxicity scaling): Trên RealToxicityPrompts, mức độ độc hại tăng theo kích thước mô hình, đặc biệt là trên các câu nhắc lịch sự (0,141 đối với 65B so với 0,081 đối với 7B).
Khoảng cách tri thức học thuật: Hiệu năng trên MMLU còn xếp sau Chinchilla-70B và PaLM-540B, điều mà các tác giả giả định là do chỉ được huấn luyện trên ~177GB sách và bài báo học thuật so với ~2TB trong các tập dữ liệu độc quyền.

Thuật ngữ chính

LLaMA: Bộ mô hình ngôn ngữ nền tảng có quy mô từ 7B đến 65B tham số, được huấn luyện trên tối đa 1,4 nghìn tỷ token chỉ bằng các tập dữ liệu công khai.
Inference Budget (Ngân sách suy luận): Chi phí tính toán và độ trễ phát sinh khi phục vụ mô hình đã huấn luyện, được tối ưu hóa bằng cách huấn luyện mô hình nhỏ hơn trên nhiều token hơn.
RMSNorm: Kỹ thuật Root Mean Square Layer Normalization, được dùng để chuẩn hóa đầu vào của các phân lớp transformer nhằm đảm bảo tính ổn định khi huấn luyện.
SwiGLU: Một biến thể của Gated Linear Unit sử dụng hàm kích hoạt Swish, với kích thước chiều ẩn bằng 2/3 * 4d.
Rotary Positional Embeddings (RoPE): Kỹ thuật đưa thông tin vị trí tương đối vào các lớp attention của transformer bằng cách xoay các biểu diễn truy vấn (query) và khóa (key).
xformers: Thư viện mã nguồn mở cung cấp cơ chế causal multi-head attention hiệu quả, giúp tránh việc phải lưu trữ các ma trận trọng số attention lớn.
LLaMA-I: Phiên bản tinh chỉnh chỉ dẫn của LLaMA-65B được huấn luyện theo giao thức Flan để cải thiện khả năng tuân theo chỉ dẫn và hiệu năng trên MMLU.
TruthfulQA: Bộ benchmark đo lường xu hướng bắt chước các quan niệm sai lầm và ảo giác của con người ở LLM thông qua các câu hỏi thực tế có tính chất đối kháng.

Câu hỏi thường gặp

Những tập dữ liệu nào đã được sử dụng để tiền huấn luyện LLaMA?

Quá trình tiền huấn luyện chỉ sử dụng dữ liệu công khai: CommonCrawl tiếng Anh (67%), C4 (15%), GitHub (4,5%), Wikipedia với 20 ngôn ngữ (4,5%), Gutenberg và Books3 (4,5%), ArXiv (2,5%) và Stack Exchange (2%).

LLaMA-13B so với GPT-3 (175B) như thế nào?

LLaMA-13B vượt trội hơn GPT-3 trên hầu hết các benchmark tiêu chuẩn—bao gồm BoolQ, PIQA và WinoGrande—mặc dù nhỏ hơn hơn 10 lần và có thể chạy suy luận trên một GPU thương mại/trung tâm dữ liệu đơn lẻ.

Mất bao lâu để huấn luyện LLaMA-65B?

Quá trình huấn luyện LLaMA-65B trên 1,4 nghìn tỷ token đạt tốc độ xử lý khoảng 380 token/giây/GPU trên 2.048 GPU A100 80GB, hoàn thành trong khoảng 21 ngày.

LLaMA có những cải tiến kiến trúc nào so với Transformer nguyên bản?

LLaMA áp dụng chuẩn hóa trước RMSNorm cho đầu vào của các phân lớp, thay thế ReLU bằng hàm kích hoạt SwiGLU (chiều ẩn 2/3 * 4d), và thay nhúng vị trí tuyệt đối bằng nhúng vị trí quay (RoPE).

Phần giải thích trên trang này do AI viết dựa trên bài báo và có thể có sai sót. Hãy đọc bài báo gốc để biết chi tiết.

Đọc với bản dịch và AI