Llama 2: 오픈 파운데이션 및 파인튜닝된 챗 모델

논문 해설

문제 및 동기

LLaMA-1, BLOOM, Falcon과 같은 오픈 액세스 사전 학습 파운데이션 모델은 GPT-3의 순수 베이스 성능을 따라잡았으나, 상용 챗 어시스턴트(예: ChatGPT, Claude)는 여전히 상당한 격차를 유지하고 있었습니다. 이러한 성능 우위는 대규모 연산 자원, 독점적인 어노테이션 파이프라인, 레드팀 활동을 요구하는 인스트럭션 튜닝 및 인간 피드백 기반 강화학습(RLHF)을 통한 집중적인 사후 학습(post-pretraining) 정렬에서 비롯되었습니다. Meta는 정렬된 대화 모델을 대중화하고 정렬 및 안전성 방법론을 투명하게 공개하기 위해 Llama 2 및 Llama 2-Chat(7B, 13B, 70B 파라미터 및 미출시된 34B 변형)을 개발하고 오픈소스로 공개했습니다.

핵심 아이디어

• 사전 학습 확장: Llama 1 대비 40% 증가한 2.0조 개의 토큰으로 사전 학습을 진행하고, 컨텍스트 길이를 4,096토큰으로 두 배 확장했으며, 자기회귀 디코딩 속도를 가속하기 위해 34B 및 70B 모델에 Grouped-Query Attention(GQA)을 도입했습니다.
• 품질 중심의 SFT: 수백만 개의 노이즈가 있는 제3자 데이터보다 수만 개의 고품질 벤더 어노테이션이 더 효과적임을 입증하며, 정선된 27,540개의 데모로 SFT를 제한했습니다.
• 이중 보상 모델링(Dual Reward Modeling): 안전성 제약이 유용성을 저해하는 상충 관계를 방지하기 위해 유용성(Helpfulness)과 안전성(Safety)을 위한 두 개의 독립적인 보상 모델을 학습했습니다.
• 2단계 RLHF 정렬: 70B 모델로부터 증류된 반복적 Rejection Sampling 파인튜닝과 후속 Proximal Policy Optimization(PPO)을 결합했습니다.
• Ghost Attention(GAtt): 여러 대화 턴(20턴 이상)에 걸쳐 인스트럭션이 희석되지 않고 지속적인 시스템 지침을 유지하도록 돕는 멀티턴 대화 대상 컨텍스트 증류(Context Distillation) 기법입니다.

방법론

사전 학습 아키텍처

Llama 2는 RMSNorm 프리 노멀라이제이션, SwiGLU 활성화 함수, 회전 위치 임베딩(RoPE)을 갖춘 자기회귀 트랜스포머 아키텍처를 사용하며, 대규모 모델(34B 및 70B)에는 GQA가 추가되었습니다. 모델은 AdamW(${\beta }_1=0.9,{\beta }_2=0.95$), 10%까지 감소하는 코사인 학습률 감쇠, 0.1의 가중치 감쇠, 1.0의 그래디언트 클리핑을 사용하여 훈련되었습니다.

보상 모델링

인간 평가자는 샘플링된 두 응답 간의 비교 선호도를 4점 척도로 제공합니다. 보상 모델은 사전 학습된 대화 체크포인트로부터 초기화되며 마진이 추가된 이진 랭킹 손실로 최적화됩니다: $${\mathcal{L}}_{\text{ranking}}=-\log \left(\sigma \left(r_{\theta }(x,y_c)-r_{\theta }(x,y_r)-m(r)\right)\right)$$ 여기서 $x$는 프롬프트 컨텍스트, $y_c$는 선호된 응답, $y_r$는 기각된 응답이며, $m(r)$은 평가자의 선호 강도에 따라 결정되는 이산 마진입니다.

RLHF 목적 함수

최적화는 Rejection Sampling(최신 정책에서 $K$개의 출력을 샘플링하고 가장 높은 보상을 받은 출력을 선택) 및 PPO를 통해 수행됩니다. PPO 목적 함수는 기대 보상을 최대화하면서 초기 정책 ${\pi }_0$에 대한 KL 발산을 통해 정책 변화를 제한합니다: $$R(g\mid p)={\tilde{R}}_c(g\mid p)-\beta D_{\text{KL}}({\pi }_{\theta }(g\mid p)\parallel {\pi }_0(g\mid p))$$ 여기서 ${\tilde{R}}_c(g\mid p)$는 화이트닝 및 로짓 변환된 안전성($R_s$)과 유용성($R_h$) 보상 모델의 구간별 결합입니다: $$R_c(g\mid p)=\{\begin{array}{ll}{R}_s(g\mid p)& \text{if }\text{textsc}is\_safety(p)\text{ or }{R}_s(g\mid p)<0.15\\ R_h(g\mid p)& \text{otherwise}\end{array}$$

Ghost Attention (GAtt)

멀티턴 일관성을 강제하기 위해 기존 대화의 각 사용자 프롬프트에 지침 $inst$를 합성적으로 추가합니다. 응답은 최신 정책에서 샘플링되지만, 손실은 대상 턴의 토큰에 대해서만 독점적으로 계산되며(이전 턴의 손실은 0으로 처리), 추론 시에는 첫 번째 턴에만 $inst$를 유지합니다.

실험 결과

• 베이스 모델 벤치마크: Llama 2 70B는 모든 오픈소스 베이스 모델을 능가하여 MMLU(5-shot)에서 68.9, GSM8K(8-shot)에서 56.8, Big-Bench Hard(3-shot)에서 51.2를 기록하며 GPT-3.5 및 PaLM-540B에 필적했습니다.
• 인간 대화 평가: 약 4,000개의 프롬프트를 대상으로 한 인적 평가에서 Llama 2-Chat 70B는 ChatGPT(gpt-3.5-turbo-0301)를 상대로 36% 승률과 31.5% 무승부율을 기록했습니다. Llama 2-Chat 34B는 Vicuna-33B 및 Falcon 40B와의 맞대결에서 75% 이상의 승률을 보였습니다.
• 안전성 및 유해성: 안전성이 정렬된 Llama 2-Chat은 ToxiGen의 유해 생성 비율을 24.60%(베이스 70B)에서 0.01%로 낮췄으며, 인간 레드팀 벤치마크 전반에서 ChatGPT 및 Falcon보다 낮은 안전 위반 비율을 기록했습니다.

한계점 및 열린 질문

• 코딩 및 복합 추론: Llama 2 70B는 코딩 벤치마크에서 GPT-4 및 PaLM-2-L에 비해 크게 뒤처집니다(HumanEval pass@1 기준 GPT-4의 67.0% 대비 29.9%).
• 지원 언어 범위: 사전 학습 데이터의 약 89.7%가 영어로 구성되어 있어, 다른 언어에서의 모델 성능 및 안전성 정렬이 취약할 수 있습니다.
• 오거부 및 과도한 보수성: 엄격한 안전성 튜닝으로 인해 경계선상의 프롬프트에서 오거부(false refusal)가 발생합니다(예: 'bomb'이나 'Christmas Crack'과 같은 단어가 포함된 무해한 질의 거부).
• 34B 릴리스 지연: 34B 모델 변형은 논문 발표 전 레드팀 검증 시간이 충분하지 않아 일반에 공개되지 않았습니다.