XYZNOT

논문 · arXiv 2212.08073

Constitutional AI: Harmlessness from AI Feedback

Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, Carol Chen, Catherine Olsson et al.

게시일 cs.CLcs.AI arXivPDF

XYZNOT로 읽기 (전문 번역과 AI 해설)

세 줄 요약

  1. 🎯 기존 RLHF는 인간의 유해성 라벨에 크게 의존하며, 민감한 질의를 무조건 차단하는 회피적인 어시스턴트를 자주 만들어냅니다.
  2. 🔧 Constitutional AI는 자연어로 작성된 명문화된 규칙 목록을 활용하여 자동화된 자체 비판, 수정 및 AI 피드백 기반 강화학습(RLAIF)을 수행합니다.
  3. 📈 그 결과 생성된 RL-CAI 모델은 회피적 태도 없이도 유용성을 유지하면서, 무해성 면에서 인간 피드백으로 학습된 모델과 동등하거나 더 우수한 성능을 보입니다.

초록

AI 시스템의 성능이 발전함에 따라, 다른 AI를 감독하는 데 이들의 도움을 받고자 합니다. 본 연구에서는 유해한 출력을 식별하는 인간 라벨 없이 자기 개선(self-improvement)을 통해 무해한 AI 어시스턴트를 학습시키는 방법을 실험합니다. 유일한 인간 감독은 규칙이나 원칙 목록의 형태로 제공되므로, 우리는 이 접근법을 'Constitutional AI'라고 부릅니다. 이 과정은 지도학습 단계와 강화학습 단계를 모두 포함합니다. 지도학습 단계에서는 초기 모델에서 샘플링을 진행한 뒤 자체 비판 및 수정을 생성하고, 수정된 응답으로 원본 모델을 미세조정합니다. RL 단계에서는 미세조정된 모델에서 샘플링하고, 두 샘플 중 어느 것이 더 나은지 모델을 통해 평가한 다음, 이 AI 선호도 데이터셋으로 선호도 모델을 학습시킵니다. 이후 이 선호도 모델을 보상 신호로 사용하여 RL 학습을 수행합니다. 즉, 'RL from AI Feedback' (RLAIF)를 사용합니다. 그 결과, 유해한 질의에 대해 이의를 제기하는 이유를 설명함으로써 대화를 지속하는, 무해하면서도 회피적이지 않은 AI 어시스턴트를 학습시킬 수 있었습니다. SL 및 RL 방법 모두 Chain-of-Thought 스타일의 추론을 활용하여 인간이 평가한 성능과 AI 의사결정의 투명성을 향상시킬 수 있습니다. 이러한 방법들을 통해 훨씬 적은 인간 라벨로도 AI의 행동을 더욱 정밀하게 제어할 수 있게 됩니다.

영어 원문 초록

As AI systems become more capable, we would like to enlist their help to supervise other AIs. We experiment with methods for training a harmless AI assistant through self-improvement, without any human labels identifying harmful outputs. The only human oversight is provided through a list of rules or principles, and so we refer to the method as 'Constitutional AI'. The process involves both a supervised learning and a reinforcement learning phase. In the supervised phase we sample from an initial model, then generate self-critiques and revisions, and then finetune the original model on revised responses. In the RL phase, we sample from the finetuned model, use a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. We then train with RL using the preference model as the reward signal, i.e. we use 'RL from AI Feedback' (RLAIF). As a result we are able to train a harmless but non-evasive AI assistant that engages with harmful queries by explaining its objections to them. Both the SL and RL methods can leverage chain-of-thought style reasoning to improve the human-judged performance and transparency of AI decision making. These methods make it possible to control AI behavior more precisely and with far fewer human labels.

논문 해설

문제 및 동기

언어 어시스턴트를 정렬할 때 인간 피드백 기반 강화학습(RLHF)은 몇 가지 병목 현상을 겪습니다:

  • 인간 유해성 라벨에 대한 과도한 의존성: 유해성에 대한 수만 개의 인간 선호도 비교 데이터를 수집하는 것은 비용이 많이 들고 인간 어노테이터를 유해 콘텐츠에 노출시킵니다.
  • 회피성과 유용성 간의 긴장 관계: RLHF로 학습된 모델은 민감한 프롬프트에 대해 *"답변할 수 없습니다"*와 같은 상투적인 거절로 일관하는 법을 학습하여 유용성과 투명성을 희생하는 경우가 많습니다.
  • 불투명성: 수천 개의 비공개 선호도 라벨로 인해 정확한 정렬 목표가 암묵적으로 남아 검사나 감사가 어렵습니다.

Constitutional AI (CAI)는 인간의 유해성 주석을 명시적인 자연어 원칙(constitution)으로 대체하고, AI가 스스로 비판하고 수정하며 자체 선호도 피드백을 생성하도록 학습시켜 감독의 확장성을 확보하고자 합니다.

핵심 아이디어

  • 원칙으로 구성된 헌법(Constitution): 인간의 유해성 라벨 대신 소수의 자연어 규칙(약 16개 원칙)만을 통해 모델의 행동을 제어합니다.
  • 2단계 파이프라인: 자체 비판 및 수정을 통해 모델 출력을 분포 내로 끌어오는 지도학습(SL) 단계에 이어, 모델이 평가한 비교 데이터를 바탕으로 선호도 모델을 학습시키는 AI 피드백 기반 강화학습(RLAIF) 단계를 거칩니다.
  • 회피 대신 대화 참여: 어시스턴트가 맹목적인 거절을 내놓기보다는 유해한 요청에 이의가 있는 이유를 차근차근 설명하도록 유도합니다.
  • Chain-of-Thought (CoT) 감독: 평가 과정에서 단계별 추론을 활용하여 모델이 유해성을 식별하고 다지선다형 선호도를 평가하는 능력을 크게 향상시킵니다.

방법론

1. 지도학습 단계 (비판 수정 SL-CAI)

  1. 레드팀 프롬프트 를 사용하여 유용한 RLHF 모델에서 초기 출력을 샘플링합니다.
  2. 무작위로 추출된 헌법 원칙에 따라 자체 응답을 비판하도록 모델에 프롬프트를 제공합니다:
  3. 비판을 반영하여 응답을 수정하도록 모델에 프롬프트를 제공합니다:
  4. 비판-수정 과정을 반복합니다 (보통 최대 4회 수정).
  5. 유용성 시연 데이터(레드팀 프롬프트 182,831개, 유용성 프롬프트 135,296개)와 짝지어진 수정된 응답으로 사전 학습된 LM을 배치 크기 1024에서 1에포크 동안 미세조정합니다.

2. 강화학습 단계 (RLAIF)

  1. SL-CAI 모델을 사용하여 프롬프트에 대한 응답 쌍 을 샘플링합니다.
  2. 대화 내용, 응답 쌍, 샘플링된 원칙을 피드백 모델에 다지선다형 형식으로 제공합니다 (선택적으로 Chain-of-Thought 프롬프팅 사용).
  3. 피드백 모델의 완성 로짓으로부터 정규화된 목표 확률을 계산합니다: Chain-of-Thought를 사용할 때는 과도한 확신을 방지하기 위해 목표 확률을 범위로 제한(clamping)합니다.
  4. 혼합 데이터(인간이 라벨링한 유용성 비교 135,296개 및 AI가 생성한 무해성 비교 182,831개)를 사용하여 선호도 모델(PM)을 학습시킵니다.
  5. RL을 통해 이 선호도 모델에 맞춰 SL-CAI 정책을 최적화합니다.

결과

  • 파레토 개선: 크라우드워커 평가(유용성 비교 10,274개, 무해성 비교 8,135개 기반)에 따르면, 52B RL-CAI 모델은 인간의 무해성 라벨로 학습된 모델과 동일한 유용성을 보이면서도 무해성 Elo 점수에서 더 우수한 성능을 기록했습니다.
  • 회피성 감소: 크라우드워커에게 회피적인 거절보다 사려 깊은 설명을 선호하도록 명시적으로 지시했을 때, RL-CAI 모델은 기존 HH RLHF 모델을 지속적으로 능가했습니다.
  • AI 피드백의 스케일링: Chain-of-Thought 추론을 적용한 대형 모델(52B)은 HHH 평가 벤치마크에서 인간 선호도로 학습된 모델의 정확도에 근접했습니다(이진 다지선다형 유해성 식별에서 80~90% 이상의 높은 정확도 기록).
  • 비판 대 직접 수정: 비판을 거치는 방식은 소형 모델에서 무해성 점수를 눈에 띄게 개선했으며, 52B 모델에서는 직접 수정하는 방식보다 약간 더 우수하거나 동등한 성능을 보였습니다.

한계점 및 미해결 과제

  • 인간 유용성 라벨에 대한 의존: 이 실험은 무해성에 대한 인간 피드백 라벨만을 제거했을 뿐, 유용성 데이터는 여전히 인간의 비교 라벨에 의존했습니다.
  • 굿하트의 법칙(Goodharting) 및 과최적화: 장시간 RL 학습을 진행하면 때때로 훈계조나 판에 박힌 언어(예: *"당신은 소중하고 가치 있으며 보살핌을 받는 존재입니다"*와 같은 반복적 표현)를 생성했습니다.
  • CoT 목표 확률 보정(Calibration): Chain-of-Thought 추론을 거치면 모델이 특정 선택지를 극단적으로 선호하게 되므로, 선호도 모델의 안정성을 유지하기 위해 휴리스틱으로 확률 제한(clamping)이 필요했습니다.
  • 이중 용도(Dual-Use) 우려: 언어 모델을 제어하기 위한 주석 진입 장벽이 낮아짐에 따라, 인간의 감독 없이 유해한 목적을 가진 모델을 학습시키는 것 또한 더 쉬워질 수 있습니다.

핵심 용어

Constitutional AI (CAI)
인간의 유해성 라벨 대신 명시적인 자연어 원칙 집합에 기반한 자기 개선을 사용하여 언어 모델을 정렬하는 학습 프레임워크.
Reinforcement Learning from AI Feedback (RLAIF)
특정 원칙에 따라 선택지를 평가하는 AI 모델이 생성한 비교 라벨로 보상 선호도 모델을 학습시키는 강화학습 프로세스.
Constitution
비판, 수정 및 선호도 라벨링 프롬프트를 유도하는 데 사용되는 간결한 서면 규칙 또는 지침 집합.
SL-CAI
모델이 자체 생성한 비판과 수정을 반복한 데이터로 사전 학습된 언어 모델을 미세조정하여 학습시킨 지도학습 단계의 모델.
RL-CAI
AI가 생성한 무해성 비교 데이터와 인간의 유용성 비교 데이터로 학습된 선호도 모델에 맞춰 강화학습으로 미세조정한 최종 정책 모델.
Scaling Supervision
모델 규모가 커짐에 따라 직접적인 인간 라벨링에 대한 의존도를 낮추고, AI 시스템을 활용하여 다른 AI를 감독하도록 돕는 기법.
Probability Clamping
과도하게 확신에 찬 라벨을 방지하기 위해 Chain-of-Thought 선호도 생성 중 목표 확률의 범위를 제한(예: 40%에서 60% 사이)하는 캘리브레이션 기법.
Evasiveness
어시스턴트가 요청이 유해한 이유를 설명하지 않고 민감하거나 논쟁적인 질의를 일괄 거절하여 대화를 차단해 버리는 실패 모드.

자주 묻는 질문

Constitutional AI는 학습 파이프라인에서 인간 데이터를 완전히 제거했나요?

아닙니다. 무해성에 대한 인간 피드백 라벨은 제거했지만, 유용성에 대한 인간 피드백 비교 데이터와 인간이 작성한 헌법 원칙 및 퓨샷(few-shot) 프롬프트 시연 데이터는 여전히 사용했습니다.

유해한 출력을 바로 수정하도록 요청하지 않고 비판을 거치게 하는 이유는 무엇인가요?

명시적인 자체 비판은 모델의 추론 과정에 투명성을 제공하며, 소형 모델의 무해성 선호도 점수를 크게 향상시켰고 52B 모델에서도 직접 수정하는 방식보다 약간 더 나은 성능을 보였습니다.

Chain-of-Thought를 사용할 때 선호도 확률을 제한(clamping)한 이유는 무엇인가요?

Chain-of-Thought 출력은 대개 한쪽 선택지로 강하게 수렴하여 로그 확률이 0 또는 1에 극단적으로 가까워집니다. 선호도 목표 확률을 40%에서 60% 사이로 제한함으로써 RL 정책이 극단적이거나 과민한 행동으로 퇴화하는 것을 방지했습니다.

Constitutional AI는 모델의 회피성 문제를 어떻게 해결하나요?

비판, 수정, 피드백 과정에서 '답변할 수 없습니다'와 같은 상투적인 거절 대신, 문제가 있는 요청이 왜 유해한지 설명하고 사려 깊게 대화에 참여하도록 모델을 유도함으로써 해결합니다.

이 페이지의 해설은 AI가 논문을 바탕으로 작성했으며 오류가 있을 수 있습니다. 자세한 내용은 원문을 확인하세요.

XYZNOT로 읽기 (전문 번역과 AI 해설)