Scaling Laws for Neural Language Models

논문 해설

문제 및 동기

Transformer 아키텍처를 중심으로 언어 모델링이 급격히 발전했으나, 대형 모델 학습에는 막대한 연산량과 데이터가 필요합니다. 본 연구 이전에는 성능(크로스 엔트로피 손실로 측정)이 아키텍처 형태(깊이 대 폭), 파라미터 수, 데이터셋 크기, 학습 연산량에 어떻게 의존하는지 명확하지 않았습니다. 정량적인 스케일링 관계가 부재했기 때문에 연구자들은 고정된 연산 예산을 최적으로 배분하는 법을 이해하기보다는, 대개 더 작은 모델을 수렴에 가깝게 학습시키는 방식을 택했습니다.

핵심 아이디어

• 스케일이 아키텍처를 압도: 넓은 범위 내에서 Transformer의 성능은 임베딩 제외 파라미터 수 $N$, 데이터셋 크기 $D$, 연산량 $C$에 크게 의존하는 반면, $N$이 고정되어 있을 때 깊이, 폭, 어텐션 헤드 수와 같은 아키텍처 하이퍼파라미터의 영향은 미미합니다.
• 매끄러운 멱법칙 스케일링: 테스트 크로스 엔트로피 손실은 6~8개 이상의 자릿수에 걸쳐 $N$, $D$, 최소 연산량 $C_{\text{min}}$에 대한 멱법칙을 따릅니다.
• 과적합 방지를 위한 준선형 데이터 증가: 과적합을 방지하려면 파라미터에 대해 데이터셋 크기를 준선형적으로 확장해야 합니다: $D\propto N^{0.74}$.
• 연산 효율성은 조기 종료된 대형 모델을 의미: 고정된 연산 예산 $C_{\text{min}}$에서 성능을 극대화하려면 매우 큰 모델을 학습시키고 수렴 훨씬 전에 멈추어야 하며, 연산량을 $N\propto C_{\text{min}}^{0.73}$, 배치 크기 $B\propto C_{\text{min}}^{0.24}$, 스텝 수 $S_{\text{min}}\propto C_{\text{min}}^{0.03}$과 같이 배분해야 합니다.

방법론 (핵심 방정식 포함)

저자들은 WebText2(BPE 토큰화 사용, 컨텍스트 $n_{\text{ctx}}=1024$)에서 decoder-only Transformer 모델들을 평가합니다. 모델 크기 $N$은 어휘 및 위치 임베딩 파라미터를 명시적으로 제외합니다: $N\approx 12n_{\text{layer}}{d}_{\text{model}}^2$.

순전파 및 역전파 1회당 비임베딩 연산량은 대략 $C\approx 6NBS$로 근사됩니다.

1. 개별 멱법칙 (Individual Power Laws):

   • 파라미터 제한 조건: $$L(N)={\left(\frac{N_c}{N}\right)}^{{\alpha }_N},{\alpha }_N\approx 0.076,N_c\approx 8.8\times 10^{13}$$
   • 데이터 제한 조건: $$L(D)={\left(\frac{D_c}{D}\right)}^{{\alpha }_D},{\alpha }_D\approx 0.095,D_c\approx 5.4\times 10^{13}$$
   • 연산량 제한 조건 (배치 크기 $B\ll B_{\text{crit}}$인 경우): $$L(C_{\text{min}})={\left(\frac{C_c^{\text{min}}}{C_{\text{min}}}\right)}^{{\alpha }_C^{\text{min}}},{\alpha }_C^{\text{min}}\approx 0.050,C_c^{\text{min}}\approx 3.1\times 10^8\text{ PF-days}$$

2. 파라미터 및 데이터 동시 스케일링: $$L(N,D)={\left[{\left(\frac{N_c}{N}\right)}^{\frac{{\alpha }_N}{{\alpha }_D}}+\frac{D_c}{D}\right]}^{{\alpha }_D}$$

3. 학습 역학 및 임계 배치 크기: $$B_{\text{crit}}(L)=\frac{B_{\ast }}{L^{1/{\alpha }_B}},B_{\ast }\approx 2\times 10^8\text{ tokens},{\alpha }_B\approx 0.21$$ 학습 곡선은 스텝 수 $S_{\text{min}}$($B\gg B_{\text{crit}}$일 때의 스텝)에 맞추어 적합됩니다: $$L(N,S_{\text{min}})={\left(\frac{N_c}{N}\right)}^{{\alpha }_N}+{\left(\frac{S_c}{S_{\text{min}}}\right)}^{{\alpha }_S},{\alpha }_S\approx 0.76,S_c\approx 2.1\times 10^3$$

4. 최적 배분: $${\alpha }_C^{\text{min}}=\frac{1}{1/{\alpha }_S+1/{\alpha }_B+1/{\alpha }_N}\approx 0.052$$ 연산 효율적인 학습은 완전 수렴 손실 대비 약 $10\%$ 높은 손실을 목표로 합니다 ($\frac{{\alpha }_N}{{\alpha }_S}\approx 0.10$).

결과 (핵심 수치 중심)

• 경향성은 연산량에서 8자릿수, 파라미터에서 6자릿수, 데이터에서 2자릿수에 걸쳐 성립합니다.
• $N$을 2배로 늘리면 손실은 $2^{-{\alpha }_N}\approx 0.95$ 비율로 감소합니다.
• 과적합 방지 임계값: $D\gtrsim (5\times 10^3)N^{0.74}$. 모델 크기를 $8\times$ 늘릴 때 데이터는 약 $5\times$만 늘리면 됩니다.
• 연산 예산 $C_{\text{min}}$이 $10\times$ 증가할 때, 연산 효율적인 학습은 모델 크기 $N$을 $\approx 5\times$ 늘리고 ($N\propto C_{\text{min}}^{0.73}$), 배치 크기는 $\approx 1.7\times$ 늘리며 ($B\propto C_{\text{min}}^{0.24}$), 학습 스텝 수는 단 $\approx 1.07\times$만 늘립니다 ($S_{\text{min}}\propto C_{\text{min}}^{0.03}$).
• 준수렴 상태($2\%$ 오차)까지 학습하는 것과 비교하여, 연산 최적 학습은 연산량을 $65\%$ 절감하고, 파라미터는 $2.7\times$ 더 사용하며, 파라미터 업데이트 스텝 수는 $7.7\times$ 적게 사용합니다.
• 분포 외(OOD) 말뭉치(Books Corpus, Common Crawl, English Wikipedia)에 대한 전이 손실(transfer loss)은 모델 크기에 따라 매끄럽게 개선되며, WebText2 검증 손실 대비 거의 일정한 페널티 오프셋만 발생합니다.

한계점 및 열린 질문

• 정확한 지수(exponent) 값들을 설명하는 엄밀한 이론적 유도(예: 통계물리학적 기반)가 부족합니다.
• 연산량 계산식 $C\approx 6NBS$는 $n_{\text{ctx}}^2$에 비례하는 어텐션 관련 비용이나, $n_{\text{ctx}}\gtrsim 12d_{\text{model}}$일 때 컨텍스트 길이에 의존하는 연산 비용을 반영하지 않습니다.
• 정규화, 드롭아웃 튜닝, 극단적인 스케일에서의 학습률 스케줄과 같은 하이퍼파라미터가 대부분 고정되었거나 데이터셋 크기별로 조정되지 않았습니다.
• 연산 최적 추세를 외삽하면 $C^{\ast }\sim 10^4\text{ PF-days}$, $N^{\ast }\sim 10^{12}$ 파라미터, $L^{\ast }\sim 1.7\text{ nats/token}$ 부근에서 $L(C_{\text{min}})$이 $L(D)$와 교차하는 모순이 발생하며, 이는 자연어 엔트로피 하한 근처에서 실증적 추세가 결국 무너지거나 평탄화되어야 함을 시사합니다.