Scaling Laws for Neural Language Models

Hướng dẫn đọc

Vấn đề và động lực

Mô hình hóa ngôn ngữ đã tiến bộ nhanh chóng cùng với các kiến trúc Transformer, nhưng việc huấn luyện các mô hình lớn đòi hỏi lượng compute và dữ liệu khổng lồ. Trước nghiên cứu này, chưa rõ hiệu năng (được đo bằng cross-entropy loss) phụ thuộc như thế nào vào hình dạng kiến trúc (độ sâu so với độ rộng), số lượng tham số, kích thước tập dữ liệu và compute huấn luyện. Khi thiếu các mối quan hệ scaling định lượng, các nhà nghiên cứu thường huấn luyện các mô hình nhỏ hơn cho đến gần điểm hội tụ thay vì hiểu cách phân bổ tối ưu một ngân sách compute cố định.

Các ý tưởng cốt lõi

• Quy mô chi phối kiến trúc: Trong các giới hạn rộng, hiệu năng Transformer phụ thuộc phần lớn vào số lượng tham số không nhúng (non-embedding parameters) $N$, kích thước tập dữ liệu $D$, và compute $C$, trong khi các siêu tham số kiến trúc như độ sâu, độ rộng và số lượng attention heads có ảnh hưởng không đáng kể khi $N$ được giữ cố định.
• Quy luật scaling hàm lũy thừa mượt mà: Cross-entropy test loss biến thiên theo quy luật hàm lũy thừa với $N$, $D$, và compute $C_{\text{min}}$ qua hơn sáu đến tám bậc độ lớn.
• Dữ liệu tăng trưởng dưới tuyến tính (sublinear) để tránh overfitting: Để tránh overfitting, kích thước tập dữ liệu cần mở rộng dưới tuyến tính so với số lượng tham số: $D\propto N^{0.74}$.
• Hiệu quả compute đồng nghĩa với mô hình lớn dừng sớm: Để tối đa hóa hiệu năng dưới một ngân sách compute cố định $C_{\text{min}}$, ta nên huấn luyện các mô hình rất lớn và dừng lại từ sớm trước khi hội tụ, phân bổ compute theo $N\propto C_{\text{min}}^{0.73}$, kích thước batch $B\propto C_{\text{min}}^{0.24}$, và số bước $S_{\text{min}}\propto C_{\text{min}}^{0.03}$.

Phương pháp (với các phương trình chính)

Các tác giả đánh giá các mô hình Transformer decoder-only trên WebText2 (sử dụng BPE tokenization, ngữ cảnh $n_{\text{ctx}}=1024$). Kích thước mô hình $N$ loại trừ cụ thể các tham số embedding: $N\approx 12n_{\text{layer}}{d}_{\text{model}}^2$.

Lượng compute phi-embedding cho mỗi lượt forward-backward pass được xấp xỉ bằng $C\approx 6NBS$.

1. Các quy luật lũy thừa riêng lẻ:

   • Giới hạn bởi tham số: $$L(N)={\left(\frac{N_c}{N}\right)}^{{\alpha }_N},{\alpha }_N\approx 0.076,N_c\approx 8.8\times 10^{13}$$
   • Giới hạn bởi dữ liệu: $$L(D)={\left(\frac{D_c}{D}\right)}^{{\alpha }_D},{\alpha }_D\approx 0.095,D_c\approx 5.4\times 10^{13}$$
   • Giới hạn bởi compute (với kích thước batch $B\ll B_{\text{crit}}$): $$L(C_{\text{min}})={\left(\frac{C_c^{\text{min}}}{C_{\text{min}}}\right)}^{{\alpha }_C^{\text{min}}},{\alpha }_C^{\text{min}}\approx 0.050,C_c^{\text{min}}\approx 3.1\times 10^8\text{ PF-days}$$

2. Scaling đồng thời tham số và dữ liệu: $$L(N,D)={\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$$

3. Động lực huấn luyện và Kích thước batch tới hạn (Critical Batch Size): $$B_{\text{crit}}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }\approx 2\times 10^8\text{ tokens},{\alpha }_B\approx 0.21$$ Đường cong học khớp với số bước $S_{\text{min}}$ (các bước khi $B\gg B_{\text{crit}}$): $$L(N,S_{\text{min}})={\left(\frac{N_c}{N}\right)}^{{\alpha }_N}+{\left(\frac{S_c}{S_{\text{min}}}\right)}^{{\alpha }_S},{\alpha }_S\approx 0.76,S_c\approx 2.1\times 10^3$$

4. Phân bổ tối ưu: $${\alpha }_C^{\text{min}}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.052$$ Huấn luyện hiệu quả nhắm tới một mức loss cao hơn khoảng $10\%$ so với loss khi hội tụ ($\frac{{\alpha }_N}{{\alpha }_S}\approx 0.10$).

Kết quả (với các số liệu quan trọng nhất)

• Các xu hướng được duy trì trên 8 bậc độ lớn của compute, 6 bậc của tham số, và 2 bậc của dữ liệu.
• Tăng gấp đôi $N$ giúp giảm loss đi một hệ số $2^{-{\alpha }_N}\approx 0.95$.
• Ngưỡng tránh overfitting: $D\gtrsim (5\times 10^3)N^{0.74}$. Tăng kích thước mô hình lên $8\times$ chỉ đòi hỏi lượng dữ liệu tăng khoảng $5\times$.
• Khi ngân sách compute $C_{\text{min}}$ tăng $10\times$, việc huấn luyện hiệu quả compute sẽ tăng kích thước mô hình $N$ lên $\approx 5\times$ ($N\propto C_{\text{min}}^{0.73}$), kích thước batch lên $\approx 1.7\times$ ($B\propto C_{\text{min}}^{0.24}$), và số bước huấn luyện chỉ tăng $\approx 1.07\times$ ($S_{\text{min}}\propto C_{\text{min}}^{0.03}$).
• So với việc huấn luyện tới gần hội tụ (độ lệch $2\%$), huấn luyện tối ưu compute tiết kiệm $65\%$ compute, sử dụng nhiều hơn $2.7\times$ tham số, và ít hơn $7.7\times$ số bước cập nhật tham số.
• Transfer loss sang các ngữ liệu ngoài phân phối (Books Corpus, Common Crawl, English Wikipedia) cải thiện mượt mà theo kích thước mô hình, chịu một mức phạt (offset) gần như không đổi so với validation loss trên WebText2.

Hạn chế và các câu hỏi mở

• Bài báo thiếu một dẫn xuất lý thuyết chặt chẽ (ví dụ: nền tảng vật lý thống kê) để giải thích chính xác các số mũ.
• Phép tính compute $C\approx 6NBS$ bỏ qua các chi phí riêng của attention tỉ lệ với $n_{\text{ctx}}^2$ hoặc lượng compute phụ thuộc ngữ cảnh khi $n_{\text{ctx}}\gtrsim 12d_{\text{model}}$.
• Các siêu tham số như regularization, tinh chỉnh dropout và lịch trình learning rate ở các quy mô cực lớn hầu như được giữ cố định hoặc không được tinh chỉnh theo từng kích thước dữ liệu.
• Việc ngoại suy các xu hướng tối ưu compute dẫn đến một mâu thuẫn khi $L(C_{\text{min}})$ cắt $L(D)$ tại $C^{\ast }\sim 10^4\text{ PF-days}$, $N^{\ast }\sim 10^{12}$ tham số, và $L^{\ast }\sim 1.7\text{ nats/token}$, báo hiệu rằng các xu hướng thực nghiệm cuối cùng sẽ phải bị phá vỡ hoặc đi ngang gần giới hạn entropy tự nhiên của ngôn ngữ.