Direct Preference Optimization: 언어 모델은 사실 보상 모델이다

논문 해설

문제 및 동기

대형 언어 모델(LM)은 비지도 사전 훈련 중에 방대한 세상 지식을 습득하지만, 모델의 출력을 유용하고 안전한 행동으로 유도하는 것은 여전히 어렵습니다. 표준 인간 피드백 기반 강화학습(RLHF) 파이프라인은 이를 세 단계로 해결합니다: 지도 미세 조정(SFT), Bradley-Terry 모델 하에서 최대우도를 통해 쌍별 선호도에 대한 보상 모델 피팅, 그리고 참조 정책 ${\pi }_{\text{ref}}$ 대비 쿨백-라이블러(KL) 발산 페널티를 유지하면서 추정 보상을 최대화하는 강화학습(일반적으로 PPO) 기반 정책 최적화입니다.

그러나 액터-크리틱 RL 알고리즘을 사용하는 RLHF는 복잡하고 불안정하며, 하이퍼파라미터에 민감하고, 여러 모델(액터, 크리틱, 참조, 보상 모델)을 훈련하고 훈련 루프 내에서 생성을 샘플링해야 하므로 계산 비용이 매우 많이 드는 것으로 악명 높습니다.

핵심 아이디어

• 정책과 보상 간의 해석적 매핑: KL 제약 보상 최대화 목적식 ${\max }_{{\pi }_{\theta }}\mathbb{E}[r(x,y)]-\beta {\mathbb{D}}_{\text{KL}}({\pi }_{\theta }\parallel {\pi }_{\text{ref}})$의 최적해는 다음과 같이 잘 알려진 닫힌 형식 표현을 갖습니다: ${\pi }_r(y\mid x)=\frac{1}{Z(x)}{\pi }_{\text{ref}}(y\mid x)\exp \left(\frac{1}{\beta }r(x,y)\right)$.
• 보상 재매개변수화: 이 항등식을 정리하면 실제 보상을 최적 정책을 통해 표현할 수 있습니다: $r(x,y)=\beta \log \frac{\pi (y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}+\beta \log Z(x)$.
• 분배 함수의 상쇄: Bradley-Terry와 같은 쌍별 비교 모델에서 선호 확률은 오직 보상의 차이 $r(x,y_w)-r(x,y_l)$에만 의존합니다. 따라서 프롬프트에 의존하는 미지의 분배 함수 $\beta \log Z(x)$는 완전히 상쇄됩니다.
• 암묵적 보상 모델링: DPO는 명시적인 스칼라 보상 네트워크를 최적화하고 RL을 실행하는 대신, 정적 선호도 쌍 $\mathcal{D}=\{(x,y_w,y_l)\}$에 대해 최대우도를 통해 정책을 직접 피팅합니다.

방법 (핵심 수식 포함)

Bradley-Terry 선호도 모델에서 프롬프트 $x$가 주어졌을 때 생성물 $y_w$가 $y_l$보다 선호될 확률은 다음과 같습니다: $$p^{\ast }(y_w\succ y_l\mid x)=\sigma (r^{\ast }(x,y_w)-r^{\ast }(x,y_l))$$

정책이 내포하는 암묵적 보상 ${\hat{r}}_{\theta }(x,y)=\beta \log \frac{{\pi }_{\theta }(y\mid x)}{{\pi }_{\text{ref}}(y\mid x)}$를 대입하면 Direct Preference Optimization (DPO) 목적식이 도출됩니다: $${\mathcal{L}}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\text{ref}})=-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}\left[\log \sigma \left(\beta \log \frac{{\pi }_{\theta }(y_w\mid x)}{{\pi }_{\text{ref}}(y_w\mid x)}-\beta \log \frac{{\pi }_{\theta }(y_l\mid x)}{{\pi }_{\text{ref}}(y_l\mid x)}\right)\right]$$

정책 파라미터 $\theta$에 대한 그래디언트는 다음과 같습니다: $${\nabla }_{\theta }{\mathcal{L}}_{\text{DPO}}({\pi }_{\theta };{\pi }_{\text{ref}})=-\beta {\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}\left[\sigma ({\hat{r}}_{\theta }(x,y_l)-{\hat{r}}_{\theta }(x,y_w))\left[{\nabla }_{\theta }\log {\pi }_{\theta }(y_w\mid x)-{\nabla }_{\theta }\log {\pi }_{\theta }(y_l\mid x)\right]\right]$$

여기서 그래디언트는 $y_w$의 우도를 높이고 $y_l$의 우도를 낮춥니다. 동적 스칼라 가중치 $\sigma ({\hat{r}}_{\theta }(x,y_l)-{\hat{r}}_{\theta }(x,y_w))$는 암묵적 보상이 해당 쌍을 얼마나 잘못 점수화하고 있는지에 따라 업데이트 크기를 조절하여, 비가중 우도 목적식에서 발생하는 모델 퇴행 현상을 방지합니다.

결과 (주요 수치 포함)

• 제어된 감정 생성 (IMDb + GPT-2-large): DPO는 전체 보상-KL 프론티어에서 PPO를 완벽히 능가하며, ${\pi }_{\text{ref}}$와의 시퀀스 수준 KL 발산의 모든 구간에서 더 높은 보상을 달성했고, 실제 정답 오라클 보상이 제공된 PPO(PPO-GT)보다도 우수한 성능을 보였습니다.
• TL;DR 요약 (GPT-J 6B):
  • temperature 0.0에서 DPO는 GPT-4가 평가한 참조 생성물 대비 약 61%의 승률을 달성했습니다(최적 temperature 0.0에서의 PPO는 57%).
  • TL;DR 요약에 대한 인간 평가자 직접 비교 연구에서, temperature 0.25의 DPO 생성물이 temperature 0.0의 PPO 생성물보다 **58%**의 비율로 선호되었습니다.
  • PPO는 temperature 1.0에서 기본 모델 수준으로 성능이 급격히 저하된 반면, DPO는 temperature 변화 전반에서 안정성을 유지했습니다.
• 분포 외 일반화 (CNN/DailyMail): 추가 미세 조정 없이 CNN/DailyMail 뉴스 기사에서 제로샷으로 평가했을 때, DPO는 정답 요약문 대비 temperature 0에서 0.36의 승률(PPO는 0.26), temperature 0.25에서 0.31의 승률(PPO는 0.23)을 기록했습니다.
• 단일 턴 대화 (Anthropic HH + Pythia-2.8B): DPO는 테스트된 경량 방법론 중 유일하게 테스트 세트의 선호 생성물보다 우수한 성능을 보였으며, 연산량이 많은 Best-of-128 샘플링 베이스라인과 일치하거나 이를 소폭 상회했습니다.

한계점 및 열린 질문

• 분포 외 일반화: CNN/DailyMail에 대한 초기 테스트에서 강력한 전이 능력을 보였으나, 더 넓은 분포 변화에서 직접 정책 최적화가 명시적인 일반화 가능 보상 모델 학습과 어떻게 비교되는지 이해하기 위해서는 추가 연구가 필요합니다.
• 보상 과적합(Over-optimization): 저자들은 대화 실험의 훈련 후반부에 성능이 약간 저하되는 현상을 관찰하였으며, 암묵적 보상 모델 내에서 전통적인 "보상 해킹"이나 과적합이 어떻게 발생하는지는 미해결 과제로 남아 있습니다.
• 비라벨 데이터 활용: RL 롤아웃 중에 임의의 비라벨 프롬프트에 대해 생성을 수행할 수 있는 PPO와 달리, 표준 DPO는 쌍별 비교 데이터로 훈련되는 오프라인 알고리즘입니다. 자체 라벨링이나 반복적인 수집을 통해 이를 확장하는 것은 향후 연구 분야입니다.
• 평가 의존성: 자동화된 평가는 GPT-4 프롬프트 문구(간결한 프롬프트 vs 단순한 프롬프트)에 크게 의존하여, LLM-as-a-judge 평가 방식의 민감성을 드러냈습니다.