Llama 3 모델 제품군

논문 해설

문제 및 동기

현대 인공지능 시스템은 거대한 파운데이션 모델에 크게 의존하지만, 가장 성능이 뛰어난 모델(예: GPT-4)은 여전히 폐쇄형으로 남아 있습니다. 공개적으로 접근 가능한 프론티어급 모델을 구축하려면 데이터 큐레이션, 컴퓨팅 규모, 복잡성 관리라는 세 가지 기둥에 걸친 거대한 엔지니어링 병목 현상을 극복해야 합니다.

저자들은 최대 128K 컨텍스트 윈도우, 제로샷 및 다단계 도구 사용, 고급 추론, 코드 생성을 지원하는 8B, 70B, 405B 파라미터 규모의 다국어 언어 모델 제품군인 Llama 3를 개발했습니다.

핵심 아이디어

• 밀집 아키텍처를 통한 복잡성 관리: Mixture-of-Experts (MoE) 아키텍처로 전환하는 대신, 사전 훈련 안정성을 극대화하기 위해 Grouped-Query Attention (GQA)과 기본 주파수 $\theta =500,000$의 RoPE를 적용한 표준 밀집형 Transformer(405B 기준 126개 레이어, 16,384 차원, 128개 어텐션 헤드)를 고수했습니다.
• 데이터 확장 및 엄격한 필터링: 사전 훈련 데이터를 Llama 2의 1.8T 토큰에서 다양한 도메인(~50% 일반 지식, 25% 수학/추론, 17% 코드, 8% 다국어)에 걸친 약 15.6T 토큰으로 확장했습니다.
• 예측 가능한 스케일링 법칙(Scaling Laws): 훈련 시작 전 4개의 자릿수에 걸쳐 다운스트림 작업 성능(예: ARC Challenge)과 컴퓨팅을 연결하는 2단계 스케일링 법칙 프레임워크를 수립했습니다.
• 반복적 사후 훈련(Iterative Post-Training): 타깃 합성 데이터 생성과 함께 Supervised Fine-Tuning (SFT), Rejection Sampling (RS), Direct Preference Optimization (DPO)을 결합하여 6회의 정렬 과정을 거쳤습니다.
• 4D 병렬화 및 인프라: Tensor Parallelism (TP), Context Parallelism (CP), Pipeline Parallelism (PP), Fully Sharded Data Parallelism (FSDP/DP)의 조합을 사용하여 최대 16K개의 H100 GPU에서 405B 모델을 사전 훈련했습니다.

방법론 (핵심 수식 포함)

1. 스케일링 법칙 수식화

컴퓨팅 최적 토큰 할당은 컴퓨팅 예산 $C$의 거듭제곱 법칙 함수로 모델링됩니다:

$$N^{\star }(C)=A{C}^{\alpha }$$

$6\times 10^{18}$에서 $10^{22}$ FLOPs 사이의 컴퓨팅 예산에 대한 경험적 피팅을 통해 $(\alpha ,A)=(0.53,0.29)$를 확인했습니다. 목표 예산인 $3.8\times 10^{25}$ FLOPs로 외삽한 결과 16.55T 토큰에 대해 402B 파라미터 모델을 훈련할 것을 제안했으며, 이는 405B 파라미터라는 최종 아키텍처의 가이드라인이 되었습니다.

2. 컨텍스트 윈도우 확장 및 어텐션 마스킹

8K에서 128K 토큰으로의 컨텍스트 확장은 약 800B 토큰에 걸쳐 6단계의 연속적인 사전 훈련 단계로 진행됩니다. 동일한 롱 컨텍스트 시퀀스 내에 패킹된 문서 간의 교차 오염을 방지하기 위해 맞춤형 문서 어텐션 마스크(document attention mask)가 적용됩니다.

Context Parallelism (CP)은 입력 시퀀스를 $2\times \text{CP}$ 청크로 분할하여 키($K$) 및 값($V$) 표현에 대해 all-gather 통신 패턴을 실행합니다. GQA는 쿼리($Q$)에 비해 $K$ 및 $V$ 크기를 줄여주므로, all-gather 통신 오버헤드 $O(S)$는 어텐션 계산 $O(S^2)$에 비해 무시할 수 있는 수준입니다.

3. Direct Preference Optimization (DPO)의 개선

선호도 최적화 과정에서 반복적인 문장 말미 생성이나 조기 중단을 방지하기 위해 포맷팅 토큰(헤더 및 종료 마커)은 DPO 손실 함수에서 명시적으로 마스킹 처리되었습니다. 또한, 선택된(chosen) 시퀀스에 보조 음의 로그 우도(NLL) 정규화 항이 추가되었습니다:

$${\mathcal{L}}_{\text{reg}}=0.2\cdot {\mathcal{L}}_{\text{NLL}}(\text{chosen})$$

결과 (주요 수치 중심)

• 플래그십 405B 벤치마크:
  • MMLU (5-shot): 87.3% (0-shot CoT: 88.6%)
  • GSM8K (8-shot, CoT): 96.8%
  • MATH (0-shot, CoT): 73.8%
  • HumanEval (0-shot): 89.0%
  • ARC Challenge (0-shot): 96.9%
  • IFEval: 88.6%
• 소형 모델 (8B 및 70B): 두 모델 모두 동급 오픈소스 경쟁 모델(예: Gemma 2 9B, Mistral 7B, Mixtral 8x22B)을 능가합니다. 예를 들어 Llama 3 8B는 0-shot CoT MMLU에서 73.0%, GSM8K에서 84.5%를 기록했습니다.
• 롱 컨텍스트: 최대 128K 토큰까지의 단일 Needle-In-A-Haystack 평가에서 100%의 완벽한 검색 성능을 보였으며, 405B 모델 기준 Multi-needle 재현율은 98.1%를 기록했습니다.
• 사전 훈련 효율성: 16,384개의 H100 GPU 환경에서 다양한 구성 전반에 걸쳐 BF16 Model FLOPs Utilization (MFU)이 38~43%에 도달했으며, 466회의 중단에도 불구하고 54일간의 스냅샷 기간 동안 90% 이상의 유효 훈련 시간을 유지했습니다.

한계점 및 열린 질문

• 하드웨어 안정성 및 스케일 변동: 16K GPU 규모에서 하드웨어 중단은 하루 평균 수회 발생했습니다(예기치 않은 중단의 78%는 하드웨어/GPU 문제로 발생). 체크포인트 저장 또는 집체 통신(collective steps) 단계에서 수십 메가와트에 달하는 동시 전력 변동이 발생하여 데이터센터 전력망에 부담을 주었습니다.
• 적대적 견고성(Adversarial Robustness) 격차: 의사 표현 벤치마크(PAWS)에서는 회복력을 보였으나, 수학적 추론 및 질의응답 적대적 벤치마크(GSM-Plus, Adv SQuAD)에서는 비적대적 벤치마크 대비 유의미한 성능 저하가 나타났습니다.
• 멀티모달 가용성: 비전 및 음성 어댑터는 연구 환경에서 경쟁력 있는 기능을 입증했으나, 현재 활발히 개발 중인 상태로 유지되어 초기 공개 릴리스에는 포함되지 않았습니다.