Training Compute-Optimal Large Language Models

Jordan Hoffmann; Sebastian Borgeaud; Arthur Mensch; Elena Buchatskaya; Trevor Cai; Eliza Rutherford; Diego de Las Casas; Lisa Anne Hendricks; Johannes Welbl; Aidan Clark; Tom Hennigan; Eric Noland; Katie Millican; George van den Driessche; Bogdan Damoc; Aurelia Guy; Simon Osindero; Karen Simonyan; Erich Elsen; Jack W. Rae; Oriol Vinyals; Laurent Sifre

Bài báo · arXiv 2203.15556

Training Compute-Optimal Large Language Models

Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland et al.

Xuất bản 2022-03-29cs.CLcs.LG arXiv PDF

Đọc với bản dịch và AI

Tóm tắt trong ba dòng

🎯 Xác định tỷ lệ đánh đổi tối ưu giữa số lượng tham số mô hình và token huấn luyện dưới một ngân sách tính toán cố định.
🔧 Khớp các quy luật mở rộng (scaling laws) qua thực nghiệm trên hơn 400 lượt huấn luyện transformer bằng các đường bao tổn thất tối thiểu (minimum-loss envelopes), các lát cắt IsoFLOP, và mô hình hóa hàm tổn thất dạng tham số.
📈 Số lượng tham số và token nên được mở rộng ngang nhau ( $a \approx 0.5$ , $b \approx 0.5$ ). Mô hình Chinchilla 70B được huấn luyện trên 1,4T token tương đương ngân sách tính toán của Gopher và đạt 67,6% trên MMLU.

Tóm tắt

Chúng tôi nghiên cứu kích thước mô hình và số lượng token tối ưu để huấn luyện một mô hình ngôn ngữ transformer dưới một ngân sách tính toán cho trước. Kết quả cho thấy các mô hình ngôn ngữ lớn hiện nay đang bị undertrained nghiêm trọng, đây là hệ quả của xu hướng gần đây chỉ tập trung mở rộng quy mô mô hình trong khi giữ nguyên lượng dữ liệu huấn luyện. Bằng cách huấn luyện hơn 400 mô hình ngôn ngữ từ 70 triệu đến hơn 16 tỷ tham số trên 5 đến 500 tỷ token, chúng tôi nhận thấy rằng để huấn luyện tối ưu về mặt tính toán, kích thước mô hình và số lượng token huấn luyện cần được mở rộng theo tỷ lệ bằng nhau: với mỗi lần kích thước mô hình tăng gấp đôi, số lượng token huấn luyện cũng phải tăng gấp đôi. Chúng tôi kiểm chứng giả thuyết này bằng cách huấn luyện Chinchilla, một mô hình được dự đoán là tối ưu về mặt tính toán, sử dụng cùng ngân sách tính toán với Gopher nhưng có 70B tham số và nhiều dữ liệu hơn gấp $4 \times$ . Chinchilla vượt trội hoàn toàn và đáng kể so với Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), và Megatron-Turing NLG (530B) trên hàng loạt tác vụ đánh giá downstream. Điều này cũng đồng nghĩa với việc Chinchilla sử dụng ít tài nguyên tính toán hơn đáng kể cho fine-tuning và suy luận (inference), hỗ trợ rất lớn cho việc sử dụng ở các tác vụ hạ nguồn. Đáng chú ý, Chinchilla đạt độ chính xác trung bình state-of-the-art là 67,5% trên benchmark MMLU, cải thiện hơn 7% so với Gopher.

Tóm tắt gốc (tiếng Anh)

We investigate the optimal model size and number of tokens for training a transformer language model under a given compute budget. We find that current large language models are significantly undertrained, a consequence of the recent focus on scaling language models whilst keeping the amount of training data constant. By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled. We test this hypothesis by training a predicted compute-optimal model, Chinchilla, that uses the same compute budget as Gopher but with 70B parameters and 4 $\times$ more more data. Chinchilla uniformly and significantly outperforms Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), and Megatron-Turing NLG (530B) on a large range of downstream evaluation tasks. This also means that Chinchilla uses substantially less compute for fine-tuning and inference, greatly facilitating downstream usage. As a highlight, Chinchilla reaches a state-of-the-art average accuracy of 67.5% on the MMLU benchmark, greater than a 7% improvement over Gopher.

Hướng dẫn đọc

Vấn đề và động lực

Nghiên cứu trước đây (đáng chú ý là Kaplan et al., 2020) cho rằng khi năng lực tính toán tăng lên, tham số mô hình nên được mở rộng mạnh mẽ ( $N \propto C^{0.73}$ ) trong khi số lượng token chỉ tăng chậm hơn nhiều ( $D \propto C^{0.27}$ ). Do đó, các mô hình lớn như GPT-3 (175B), Jurassic-1 (178B), Gopher (280B), và MT-NLG (530B) đều được huấn luyện trên khoảng 300 tỷ token. Tuy nhiên, điều này khiến các mô hình lớn bị undertrained nghiêm trọng so với chi phí tính toán đã đầu tư. Công trình này xem xét lại bài toán đánh đổi: với một ngân sách tính toán cố định $C$ , số lượng tham số $N$ và số lượng token $D$ nên được phân bổ như thế nào để tối thiểu hóa tổn thất (loss) trên tập kiểm thử?

Các ý tưởng cốt lõi

Mở rộng quy mô ngang nhau (Equal scaling): Với mỗi lần số tham số mô hình tăng gấp đôi, số lượng token huấn luyện cũng nên tăng gấp đôi ( $N_{o pt} \propto C^{0.5}$ , $D_{o pt} \propto C^{0.5}$ ).
Đồng bộ lịch trình cosine (Cosine schedule alignment): Lịch trình tốc độ học (learning rate schedule) phải khớp với chu kỳ huấn luyện thực tế. Việc sử dụng các điểm trung gian từ một lượt chạy phân rã theo chu kỳ dài cố định (ví dụ: 130B token) sẽ ước tính quá cao mức tổn thất cho các số lượng token nhỏ hơn và làm lệch các ước tính scaling bằng thực nghiệm.
Hiệu quả downstream: Huấn luyện một mô hình nhỏ hơn trên lượng token nhiều hơn đáng kể mang lại độ chính xác tương đương hoặc tốt hơn ở cùng mức tính toán pretraining, đồng thời cắt giảm đáng kể dung lượng bộ nhớ, chi phí fine-tuning và độ trễ suy luận (inference latency).

Phương pháp (kèm các phương trình chính)

Các tác giả đánh giá hơn 400 mô hình (từ 70M đến 16B tham số, huấn luyện trên 5B đến 500B token) bằng ba chiến lược bổ trợ lẫn nhau:

Giá trị tối thiểu trên các đường cong huấn luyện (Minimum over training curves): Thay đổi chu kỳ trên 4 khoảng thời gian khác nhau cho các kiến trúc mô hình cố định. Trích xuất đường bao của mức tổn thất tối thiểu trên mỗi FLOP và khớp các hàm lũy thừa: $N_{o pt} \propto C^{a}, D_{o pt} \propto C^{b}$ thu được $a = 0.50$ , $b = 0.50$ .
Các đường cong IsoFLOP (IsoFLOP profiles): Cố định tổng số lượng FLOP trên 9 mức ngân sách rời rạc ( $6 \times 1 0^{18}$ đến $3 \times 1 0^{21}$ ) với sự suy giảm cosine được đồng bộ theo chu kỳ. Khớp các đường parabol qua các số lượng tham số để tìm điểm cực tiểu của hàm tổn thất, thu được $a = 0.49$ , $b = 0.51$ .
Khớp hàm tổn thất dạng tham số (Parametric loss fitting): Mô hình hóa tổn thất đã làm mịn bằng cách phân rã rủi ro: $\hat{L} (N, D) ≜ E + \frac{A}{N ^{α}} + \frac{B}{D ^{β}}$ trong đó $E$ biểu thị entropy của văn bản tự nhiên, $A / N^{α}$ biểu thị sự dưới mức tối ưu của khả năng biểu diễn, và $B / D^{β}$ phản ánh sự dưới mức tối ưu do early stopping/dữ liệu hữu hạn. Tối thiểu hóa hàm mất mát Huber trên phần dư log cho kết quả $E = 1.69$ , $A = 406.4$ , $B = 410.7$ , $α = 0.34$ , $β = 0.28$ . Dưới ràng buộc $FLOPs (N, D) \approx 6 N D$ : $a = \frac{β}{α + β} = 0.46, b = \frac{α}{α + β} = 0.54$

Kết quả (với các số liệu quan trọng nhất)

Chinchilla 70B: Được huấn luyện với cùng ngân sách FLOP như Gopher ( $5.76 \times 1 0^{23}$ FLOPs, hoặc $6.3 \times 1 0^{23}$ theo cách tính toán chi tiết) bằng cách sử dụng 70B tham số và 1,4 nghìn tỷ token.
Benchmark MMLU: Chinchilla đạt độ chính xác trung bình 5-shot là 67,6%, vượt trội so với Gopher (60,0%), GPT-3 (43,9%) và vượt qua dự báo của chuyên gia con người vào tháng 6 năm 2023 (63,4%). Mô hình đạt độ chính xác $> 90%$ trên 4 tác vụ MMLU riêng biệt.
Các benchmark downstream: Vượt trội hơn Gopher trên BIG-bench (65,1% so với 54,4%), LAMBADA (77,4% so với 74,5%), và Natural Questions dạng closed-book (31,5% 5-shot so với 24,5%).
Định kiến và Độc hại (Bias and Toxicity): Mức độ độc hại không cần prompt (unprompted toxicity) vẫn tương đương giữa Gopher và Chinchilla (trung vị 0,064 so với 0,066), trong khi độ chính xác Winogender cải thiện tổng thể từ 71,4% lên 78,3%.

Hạn chế và các câu hỏi mở

Chỉ có hai điểm mô hình biên quy mô lớn ở mức tương đương tính toán được trực tiếp xác minh thực tế (Gopher 280B so với Chinchilla 70B) do chi phí huấn luyện đắt đỏ.
Phân tích giả định việc huấn luyện single-epoch trên các tập dữ liệu web; hành vi khi lặp lại dữ liệu qua nhiều epoch vẫn chưa được khám phá.
Có bằng chứng thực nghiệm cho thấy độ cong âm nhẹ (tính lõm) trong $lo g (N_{o pt})$ ở các ngân sách tính toán cao, gợi ý rằng các định luật lũy thừa có thể vẫn đang ước tính hơi cao kích thước tối ưu của mô hình.

Thuật ngữ chính

Chinchilla: Mô hình ngôn ngữ tự hồi quy 70 tỷ tham số được huấn luyện trên 1,4 nghìn tỷ token bằng ngân sách tính toán của Gopher.
Gopher: Mô hình ngôn ngữ transformer 280 tỷ tham số được huấn luyện trên 300 tỷ token, đóng vai trò là đường cơ sở tương đương về mặt tính toán.
IsoFLOP profiles: Một phương pháp trong đó số lượng tham số mô hình được thay đổi trong khi vẫn giữ nguyên tổng số FLOP huấn luyện để xác định kích thước tham số mang lại mức tổn thất tối thiểu.
Compute-optimal frontier: Đường cong toán học liên hệ giữa số FLOP huấn luyện khả dụng với sự phân bổ tối ưu giữa số lượng tham số và lượng token huấn luyện.
Parametric loss function: Sự phân rã thống kê của hàm tổn thất mô hình ngôn ngữ thành entropy Bayes không thể tối giản, sự thiếu hụt dung lượng tham số và sai số tối ưu hóa do mẫu token.
Huber loss: Một hàm tổn thất bền vững được sử dụng trong Hướng tiếp cận 3 để khớp các lần chạy mô hình ngôn ngữ thực nghiệm, đồng thời làm giảm tác động của các điểm ngoại lai ở quy mô tính toán nhỏ.
MassiveText: Kho ngữ liệu tiền huấn luyện đa miền chứa các trang web, sách, tin tức, mã nguồn và Wikipedia, được sử dụng để huấn luyện cả Gopher và Chinchilla.
FLOPs calculation: Ngân sách phép tính nhân-tích lũy (multiply-accumulate), được tính xấp xỉ bằng $6 N D$ qua các lượt truyền xuôi và truyền ngược hoặc thông qua tính toán chi tiết theo từng lớp.

Câu hỏi thường gặp

Tại sao Kaplan et al. lại kết luận rằng tham số nên được mở rộng nhanh hơn token?

Kaplan et al. đã sử dụng một lịch trình suy giảm cosine cố định cho tốc độ học (ví dụ: suy giảm theo chu kỳ 130B token) và sử dụng các đánh giá huấn luyện trung gian chưa hội tụ cho các điểm mốc token nhỏ hơn. Do lịch trình tốc độ học cosine bị giảm sút hiệu quả nếu độ dài chu kỳ vượt quá đáng kể số bước thực tế, những mức tổn thất trung gian đó đã bị đẩy lên cao một cách giả tạo, dẫn đến việc đánh giá thấp hiệu quả của việc huấn luyện các mô hình nhỏ hơn trên ít token hơn.

Quy tắc thực nghiệm để mở rộng tối ưu tính toán (compute-optimal scaling) theo Chinchilla là gì?

Cả số lượng tham số mô hình và số lượng token huấn luyện nên được mở rộng theo các tỷ lệ gần như bằng nhau: với mỗi mức tăng compute gấp $2 \times$ , kích thước mô hình nên tăng $\approx 2^{0.5} \approx 1.41 \times$ và số token huấn luyện nên tăng $\approx 2^{0.5} \approx 1.41 \times$ .

Cần bao nhiêu token để huấn luyện một mô hình 175B tối ưu về mặt tính toán?

Theo các dự đoán của bài báo, một mô hình 175 tỷ tham số cần khoảng 3,7 đến 4,3 nghìn tỷ token và $3.85 \times 1 0^{24}$ đến $4.54 \times 1 0^{24}$ FLOPs để đạt mức tối ưu tính toán, vượt xa mức 300 tỷ token thường được sử dụng cho GPT-3.

Có những thay đổi kiến trúc nào giữa Gopher và Chinchilla?

Bên cạnh việc giảm số lượng lớp và chiều ẩn từ 280B xuống 70B, Chinchilla đã thay thế bộ tối ưu hóa Adam bằng AdamW, duy trì master weights dạng float32 trong trạng thái bộ tối ưu hóa phân tán, và loại bỏ chuẩn hóa NFKC khỏi bộ tokenizer SentencePiece.

Phần giải thích trên trang này do AI viết dựa trên bài báo và có thể có sai sót. Hãy đọc bài báo gốc để biết chi tiết.

Đọc với bản dịch và AI