Training language models to follow instructions with human feedback

Long Ouyang; Jeff Wu; Xu Jiang; Diogo Almeida; Carroll L. Wainwright; Pamela Mishkin; Chong Zhang; Sandhini Agarwal; Katarina Slama; Alex Ray; John Schulman; Jacob Hilton; Fraser Kelton; Luke Miller; Maddie Simens; Amanda Askell; Peter Welinder; Paul Christiano; Jan Leike; Ryan Lowe

논문 · arXiv 2203.02155

인간 피드백을 통한 지시 준수 언어 모델 학습

Training language models to follow instructions with human feedback

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton et al.

게시일 2022-03-04cs.CLcs.AIcs.LG arXiv PDF

XYZNOT로 읽기 (전문 번역과 AI 해설)

세 줄 요약

순수하게 다음 토큰 예측만으로 학습된 대규모 언어 모델은 유해하거나 허위이거나 도움이 되지 않는 답변을 생성하여 사용자 의도를 따르지 못하는 경우가 많습니다.
인간 시연 데이터를 사용해 GPT-3를 지도 미세조정(SFT)하고, 순위화된 출력에 대해 6B 보상 모델(RM)을 학습한 뒤, 사전 학습 혼합 기법을 더한 PPO를 통해 정책을 최적화합니다.
1.3B InstructGPT의 출력이 175B GPT-3보다 선호되며, 175B InstructGPT는 175B GPT-3를 상대로 85% 승률을 기록하고 환각을 41%에서 21%로 줄였습니다.

초록

언어 모델의 크기를 키우는 것만으로는 사용자의 의도를 따르는 능력이 본질적으로 향상되지 않습니다. 예를 들어, 대규모 언어 모델은 사실이 아니거나 독성이 있거나 단순히 사용자에게 도움이 되지 않는 출력을 생성할 수 있습니다. 즉, 이러한 모델들은 사용자와 정렬(align)되어 있지 않습니다. 본 논문에서는 인간 피드백을 통한 미세조정(fine-tuning)을 활용하여 광범위한 작업에서 언어 모델을 사용자의 의도에 맞추는 접근 방식을 제시합니다. 라벨러가 직접 작성한 프롬프트와 OpenAI API를 통해 제출된 프롬프트 데이터셋을 시작으로, 원하는 모델 행동에 대한 라벨러의 시연(demonstration) 데이터셋을 수집하여 지도학습(supervised learning)으로 GPT-3를 미세조정합니다. 그런 다음 모델 출력 간의 순위(ranking) 데이터셋을 구축하고, 이를 인간 피드백 기반 강화학습(RLHF)을 통해 지도학습 모델을 추가로 미세조정하는 데 사용합니다. 이렇게 탄생한 모델을 InstructGPT라고 부릅니다. 자체 프롬프트 분포에 대한 인간 평가 결과, 1.3B 파라미터의 InstructGPT 모델 출력이 100배 더 많은 파라미터를 가진 175B GPT-3의 출력보다 더 선호되었습니다. 또한 InstructGPT 모델은 공개 NLP 데이터셋에서의 성능 저하를 최소화하면서도 사실성(truthfulness)의 향상과 유해한 출력 생성의 감소를 보였습니다. InstructGPT가 여전히 단순한 실수를 저지르기는 하지만, 본 연구 결과는 인간 피드백을 통한 미세조정이 언어 모델을 인간의 의도에 맞추는 유망한 방향임을 입증합니다.

영어 원문 초록

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

논문 해설

문제점 및 연구 배경

표준 대규모 언어 모델(LLM)은 웹 코퍼스에서의 다음 토큰 예측(next-token prediction)을 최적화합니다. 이러한 사전 학습 목표는 도움이 되고 사실에 기반하며 무해한 방식으로 지시를 따르는 어시스턴트를 원하는 사용자의 목표와 정렬되지(aligned) 않습니다. 결과적으로 GPT-3와 같은 베이스라인 모델은 사실을 빈번하게 날조(hallucination)하거나 거짓 컨텍스트를 꾸며내고, 독성 텍스트를 반영하거나 명시적인 사용자 제약 조건을 무시합니다. 단순히 모델의 파라미터 규모를 키우는 것만으로는 이러한 문제가 해결되지 않습니다.

핵심 아이디어

인간 피드백 기반 강화학습(RLHF)을 통한 정렬: 단순한 텍스트 생성 확률이 아닌, 사용자의 의도에 맞게 모델 출력을 유도하기 위해 인간의 평가 점수를 활용합니다.
3단계 학습 파이프라인: (1) 프롬프트-시연(demonstration) 쌍에 대한 지도 미세조정(SFT), (2) 순위가 매겨진 생성 텍스트의 쌍별 비교(pairwise comparison) 데이터를 활용한 보상 모델(RM) 학습, (3) 근접 정책 최적화(PPO)를 활용한 정책 최적화.
정렬 세금(Alignment Tax) 완화: 일반적인 PPO 미세조정은 표준 NLP 벤치마크(예: SQuADv2, DROP)에서 성능 저하를 유발합니다. PPO 업데이트에 사전 학습 분포의 그래디언트를 혼합하는 방식(PPO-ptx)을 통해 인간 선호도 이득을 희생하지 않으면서 이러한 성능 저하를 완화합니다.

방법론 (주요 수식 포함)

지도 미세조정(Supervised Fine-Tuning, SFT): 라벨러가 직접 작성하고 OpenAI API Playground를 통해 수집된 약 13,000개의 프롬프트 시연 데이터를 바탕으로 기본 GPT-3 모델을 미세조정합니다.
보상 모델 학습: 각 프롬프트 $x$ 에 대해 라벨러가 $K$ 개의 생성 결과( $K \in [4, 9]$ )에 순위를 매겨 $(2 K)$ 개의 비교 쌍을 생성합니다. 6B 크기의 보상 모델 $r_{θ} (x, y)$ 는 배치 요소 내의 모든 쌍에 대해 쌍별 교차 엔트로피 손실(pairwise cross-entropy loss)로 학습됩니다: $loss (θ) = - \frac{1}{( 2 K )} E_{(x, y_{w}, y_{l}) \sim D} [lo g σ (r_{θ} (x, y_{w}) - r_{θ} (x, y_{l}))]$ 여기서 $y_{w}$ 는 $y_{l}$ 보다 선호된 출력입니다.
강화학습 정책 최적화(PPO-ptx): 스칼라 보상을 극대화하도록 정책 $π_{ϕ}^{RL}$ 을 최적화하는 동시에, 토큰 수준 KL 발산(KL divergence)을 통해 SFT 모델과의 이탈에 페널티를 부여하고, 선택적으로 사전 학습 로그 가능도(log-likelihood)를 보존합니다: $objective (ϕ) = E_{(x, y) \sim D_{π_{ϕ}^{RL}}} [r_{θ} (x, y) - β lo g (\frac{π _{ϕ}^{RL} ( y ∣ x )}{π ^{SFT} ( y ∣ x )})] + γ E_{x \sim D_{pretrain}} [lo g π_{ϕ}^{RL} (x)]$ 여기서 $β$ 는 KL 페널티 계수이고, $γ$ 는 사전 학습 그래디언트의 혼합 비율을 조절합니다.

실험 결과 (핵심 수치 중심)

인간 선호도: 평가자들은 175B 기본 GPT-3보다 1.3B InstructGPT 모델의 출력을 선호했습니다(100배의 파라미터 차이). 175B InstructGPT의 출력은 175B GPT-3를 상대로 $85 \pm 3%$ , 퓨샷(few-shot) 프롬프트가 적용된 175B GPT-3를 상대로 $71 \pm 4%$ 의 비율로 더 선호되었습니다.
사실성 및 환각: TruthfulQA에서 InstructGPT는 GPT-3에 비해 약 2배 더 높은 빈도로 사실에 기반한 유익한 답변을 생성했습니다. 폐쇄형 도메인 API 작업에서 환각 발생률은 41%(GPT-3)에서 21%(InstructGPT)로 감소했습니다.
독성: 공손하게 답변하라는 프롬프트가 주어졌을 때 RealToxicityPrompts에서 InstructGPT는 GPT-3보다 약 25% 적은 유해성 출력을 생성했습니다.
일반화 성능: 학습 데이터의 96% 이상이 영어였음에도 불구하고, InstructGPT는 평가에 참여하지 않은 라벨러에 대해서도 안정적으로 일반화( $77.3%$ 일치율)되었으며, 코드 질의응답/요약 및 비영어권 지시사항과 같은 분포 외(OOD) 지시사항에 대해서도 우수한 일반화 성능을 보였습니다.

한계점 및 향후 과제

안전성과 정렬의 트레이드오프: InstructGPT는 학습 과정에서 주로 사용자의 지시를 준수하는 데 중점을 둡니다. 따라서 악의적이거나 편향된 요청이 주어지면 해당 지시를 그대로 충실하게 따릅니다.
단순 오류: 모델은 여전히 환각을 일으키며, 인식론적 겸손(epistemic humility)에 대한 조건화로 인해 과도하게 모호한 답변(hedging)을 하거나, 거짓 전제 또는 복잡한 다중 제약 조건 처리에 취약합니다.
대표성 문제: 미세조정은 소수의 계약자 피드백(약 40명의 고용된 라벨러)과 API Playground 고객의 쿼리에 의존하므로, 다양한 최종 사용자 집단 전체를 온전히 대변하지 못합니다.

핵심 용어

RLHF: 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback); 인간 선호도를 바탕으로 보상 모델을 학습하고 이를 통해 강화학습으로 정책을 미세조정하는 방법.
InstructGPT: 자연어 지시사항을 잘 따르도록 지도 시연 데이터와 RLHF를 통해 미세조정된 GPT-3 계열의 모델.
Alignment tax: 언어 모델을 인간의 선호도에 정렬하는 과정에서 발생하는 표준 NLP 벤치마크(DROP, SQuAD 등) 상의 성능 저하 현상.
PPO-ptx: 기존 벤치마크 성능을 보존하기 위해 사전 학습 데이터의 그래디언트를 강화학습 미세조정 목적함수에 혼합한 PPO 변형 기법.
Reward Model (RM): 프롬프트-완성 텍스트 쌍에 대해 스칼라 점수를 부여하여, 후보 완성문들에 대한 인간의 선호도를 예측하도록 학습된 모델.
Supervised fine-tuning (SFT): 인간이 직접 작성한 프롬프트-시연 데이터 쌍을 바탕으로 베이스 언어 모델을 미세조정하는 정렬 파이프라인의 첫 번째 단계.
Hallucination: 요약이나 질의응답 같은 폐쇄형 도메인 작업에서 언어 모델이 근거 없는 거짓 정보를 지어내는 현상.

자주 묻는 질문

1.3B InstructGPT가 인간 평가에서 175B GPT-3보다 뛰어난 성능을 보이는 이유는 무엇인가요?

기본 GPT-3는 필터링되지 않은 웹 텍스트에서 다음 토큰을 예측하도록 최적화되어 있어, 지시를 무시하거나 맥락을 그대로 반복하는 경우가 많습니다. 반면 InstructGPT는 도움이 되고 직접적인 답변을 생성하도록 인간의 선호도 신호에 맞춰 명시적으로 최적화되었기 때문에, 단순 파라미터 크기에서 오는 역량과 실제 작업 의도 사이의 격차를 해소합니다.

논문에서는 정렬 세금(alignment tax)을 어떻게 해결했나요?

PPO 학습 목적함수에 사전 학습 업데이트 텀을 추가(PPO-ptx)하고, 계수 $γ = 27.8$ 을 통해 사전 학습 그래디언트를 혼합하여 반영했습니다. 이를 통해 인간 선호도 승률을 희생하지 않으면서도 SQuAD 및 DROP과 같은 공개 데이터셋에서의 성능 저하를 방지했습니다.

보상 모델은 순위화된 출력에 대해 어떻게 학습되었나요?

라벨러가 각 프롬프트에 대해 $K$ 개(4~9개 사이)의 완성 텍스트에 순위를 매겼습니다. 6B 보상 모델은 단일 배치 요소 내에서 가능한 모든 $(2 K)$ 개 쌍을 동시에 학습함으로써, 순전파 횟수를 줄이고 과적합을 방지했습니다.

InstructGPT는 인구통계학적 편향을 완화하나요?

아닙니다. Winogender 및 CrowS-Pairs를 통해 측정한 결과, InstructGPT는 기본 GPT-3에 비해 유의미한 편향 감소를 보이지 않았으며, 공손한 어조를 요구하는 프롬프트는 때때로 엔트로피를 감소시켜 측정된 편향을 증가시키기도 했습니다.

이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.

XYZNOT로 읽기 (전문 번역과 AI 해설)