論文 · arXiv 2212.08073
Constitutional AI: Harmlessness from AI Feedback
3行まとめ
- 🎯 標準的なRLHFは人間による有害性ラベルに大きく依存しており、機微なクエリを一律に拒否する過度な回避傾向を示すアシスタントになりがちです。
- 🔧 Constitutional AIは、自然言語で書かれた規則リストを用いて、自動化された自己批判、修正、およびAIフィードバックによる強化学習（RLAIF）を実行します。
- 📈 得られたRL-CAIモデルは、有用性を維持しながら、過度な拒絶をすることなく無害性の面で人間フィードバック訓練モデルと同等以上の性能を達成します。
概要
AIシステムの能力が向上するにつれて、他のAIを監督するためにその能力を活用することが望まれます。本研究では、有害な出力を特定する人間のラベルを一切使用せず、自己改善を通じて無害なAIアシスタントを訓練する手法を検証します。人間の監視は一連の規則や原則のリストのみを通じて提供されるため、この手法を「Constitutional AI」と呼びます。このプロセスには、教師あり学習フェーズと強化学習フェーズの両方が含まれます。教師ありフェーズでは、初期モデルからサンプリングを行い、自己批判と修正を生成した上で、修正された回答を用いて元のモデルをファインチューニングします。RLフェーズでは、ファインチューニングされたモデルからサンプリングし、別のモデルを用いて2つのサンプルのうちどちらが優れているかを評価させ、このAI選好データセットから選好モデルを訓練します。続いて、その選好モデルを報酬シグナルとして用いて強化学習を行い、すなわち「AIフィードバックによる強化学習（RLAIF）」を実施します。その結果、有害なクエリに対して異議を唱える理由を説明しながら応答する、無害でありながら過度な拒絶（evasive）をしないAIアシスタントを訓練することが可能になりました。SLおよびRLの手法はどちらもChain-of-Thought型の推論を活用でき、人間による評価性能やAIの意思決定の透明性を向上させることができます。これらの手法により、より少ない人間のラベルで、より精密にAIの挙動を制御することが可能になります。
英語の原文概要
As AI systems become more capable, we would like to enlist their help to supervise other AIs. We experiment with methods for training a harmless AI assistant through self-improvement, without any human labels identifying harmful outputs. The only human oversight is provided through a list of rules or principles, and so we refer to the method as 'Constitutional AI'. The process involves both a supervised learning and a reinforcement learning phase. In the supervised phase we sample from an initial model, then generate self-critiques and revisions, and then finetune the original model on revised responses. In the RL phase, we sample from the finetuned model, use a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. We then train with RL using the preference model as the reward signal, i.e. we use 'RL from AI Feedback' (RLAIF). As a result we are able to train a harmless but non-evasive AI assistant that engages with harmful queries by explaining its objections to them. Both the SL and RL methods can leverage chain-of-thought style reasoning to improve the human-judged performance and transparency of AI decision making. These methods make it possible to control AI behavior more precisely and with far fewer human labels.
論文解説
問題設定と動機
標準的な人間のフィードバックによる強化学習（RLHF）には、言語アシスタントのアライメントにおいていくつかのボトルネックが存在します：
- 人間による有害性ラベルへの過度な依存: 有害性に関する数万件の人間の選好比較を収集することは高コストであり、人間のアノテーターを有害なコンテンツに晒すことになります。
- 回避傾向と有用性とのトレードオフ: RLHFで訓練されたモデルは、機微なプロンプトに対して “その質問には答えられません” といった定型的な拒絶を学習しがちであり、有用性と透明性が損なわれます。
- 不透明性: 数万件の非公開の選好ラベルに基づいているため、正確なアライメント目標が暗黙的となり、検証や監査が困難になります。
Constitutional AI（CAI）は、人間の有害性アノテーションを明示的な自然言語の原則（憲法 / constitution）に置き換え、AI自身に自己批判、修正、選好フィードバックの生成を行わせることで、監督のスケール化を目指します。
主要なアイデア
- 原則からなる憲法（Constitution）: 人間による有害性ラベルではなく、少数の自然言語ルール（約16の原則）のみによって挙動を誘導します。
- 2段階パイプライン: 自己批判と修正を用いてモデル出力を分布内に収める教師あり学習（SL）段階と、モデル自身が評価した比較データで選好モデルを訓練するAIフィードバックによる強化学習（RLAIF）段階で構成されます。
- 過度な回避よりも対話的な関与: 画一的な拒否を行うのではなく、有害な要求に対する懸念や反論の理由を説明するようアシスタントを誘導します。
- Chain-of-Thought（CoT）による監督: 評価時に段階的な推論を活用することで、有害性の特定や多肢選択式選好の評価能力が大幅に向上します。
手法
1. 教師あり学習段階（批判 修正 SL-CAI）
- レッドチーム用プロンプト を使用して、有用性重視のRLHFモデルから初期出力をサンプリングします。
- ランダムに抽出された憲法の原則に従って、自身の回答を批判するようモデルにプロンプトを与えます：
- 批判を満たすように回答を修正するようモデルに指示します：
- 批判と修正を反復します（通常は最大4回）。
- 事前学習済みLMを、修正された回答と有用性の実証データ（レッドチームプロンプト182,831件、有用性プロンプト135,296件）のペアに対して、バッチサイズ1024、1エポックでファインチューニングします。
2. 強化学習段階（RLAIF）
- SL-CAIモデルを用いて、プロンプトに対する回答ペア をサンプリングします。
- 会話、回答ペア、および抽出された原則を、多肢選択形式でフィードバックモデルに提示します（オプションでChain-of-Thoughtプロンプティングを使用）。
- フィードバックモデルの出力ロジットから正規化された目標確率を計算します： Chain-of-Thoughtを使用する場合、過度の確信を防ぐために目標確率は の範囲に制限（clamp）されます。
- 人間がラベル付けした有用性比較データ135,296件と、AIが生成した無害性比較データ182,831件の混合データを使用して選好モデル（PM）を訓練します。
- この選好モデルを報酬シグナルとして、強化学習を通じてSL-CAIポリシーを最適化します。
結果
- パレート改善: クラウドワーカーによる評価（有用性10,274件、無害性8,135件の比較に基づく）により、52BのRL-CAIモデルは、人間の無害性ラベルで訓練されたモデルと比較して、同等の有用性を保ちながら優れた無害性Eloスコアを達成することが示されました。
- 回避傾向の低減: クラウドワーカーに対し、画一的な拒絶よりも思慮深い説明を優先するよう明示的に指示した場合、RL-CAIモデルは標準的なHH RLHFモデルを一貫して上回りました。
- AIフィードバックのスケーリング: Chain-of-Thought推論を備えた大規模モデル（52B）は、HHH評価ベンチマークにおいて人間選好訓練モデルの精度に近づきました（二値の多肢選択式有害性特定において80〜90%を大幅に超える精度を達成）。
- 批判 vs 直接修正: 明示的な批判を挟む手法は、より小規模なモデルにおいて無害性スコアを大幅に向上させ、52Bモデルでも直接修正と同等以上の性能を示しました。
限界と未解決の課題
- 人間の有用性ラベルへの依存: 本実験で人間のフィードバックラベルを排除したのは無害性に関してのみであり、有用性データは依然として人間の比較ラベルに依存しています。
- グッドハートの法則と過剰最適化: 長時間のRL訓練により、説教くさい表現や紋切り型の表現（例: “You are valid, valued, and cared for” などの反復）が生成されることがありました。
- CoT目標確率のキャリブレーション: Chain-of-Thought推論を行うとモデルが片方の選択肢を極端に支持するため、選好モデルの安定性を維持するためのヒューリスティックとして確率の制限（clamping）が必要でした。
- デュアルユースの懸念: 言語モデルを誘導するためのアノテーションのハードルが下がることは、人間の監視なしに有害な目的のためにモデルを訓練することも容易にすることを意味します。
重要用語
- Constitutional AI (CAI)
- 人間の有害性ラベルの代わりに、明示的な自然言語の原則セットに基づく自己改善を用いて言語モデルをアライメントする訓練フレームワーク。
- Reinforcement Learning from AI Feedback (RLAIF)
- 特定の原則に照らして選択肢を評価するAIモデルによって生成された比較ラベルを用いて報酬選好モデルを訓練する強化学習プロセス。
- Constitution
- 批判、修正、および選好ラベリングのプロンプトを誘導するために使用される、明文化された短いルールまたは指示のセット。
- SL-CAI
- モデルが自己生成した反復的な批判と修正のデータで事前学習済み言語モデルをファインチューニングした、教師あり学習段階のモデル。
- RL-CAI
- AIが生成した無害性比較と人間による有用性比較で訓練された選好モデルに対して、強化学習でファインチューニングされた最終的なポリシーモデル。
- Scaling Supervision
- モデルの規模拡大に伴い、直接的な人間によるラベリングへの依存を減らすため、AIシステムを活用して他のAIを監督する手法。
- Probability Clamping
- Chain-of-Thought選好生成時に、過度に確信を持ったラベル付けを防ぐために目標確率を一定範囲（例：40%から60%の間）に制限するキャリブレーション手法。
- Evasiveness
- アシスタントが、要求がなぜ有害であるかを説明するのではなく、画一的な拒絶によって議論の余地がある質問や機微な質問を打ち切ってしまう失敗モード。
よくある質問
Constitutional AIは訓練パイプラインから人間のデータを完全に排除しましたか？
いいえ。この手法は無害性に関する人間のフィードバックラベルを排除しましたが、有用性のための人間のフィードバック比較データや、人間が作成した憲法の原則、フューショットプロンプトのデモデータは依然として使用しています。
有害な出力をモデルに直接修正させず、なぜ一度「批判」を挟むのですか？
明示的な自己批判を行うことでモデルの推論プロセスに透明性がもたらされ、小規模モデルでは無害性の選好スコアが大幅に改善し、52Bモデルでも直接修正よりわずかに優れた性能を示したためです。
Chain-of-Thoughtを使用する際、なぜ選好確率が制限（clamping）されたのですか？
思考連鎖の出力は通常どちらか一方の選択肢を極端に支持し、対数確率が0または1近くに偏るためです。選好ターゲットを40%〜60%の間に制限することで、RLポリシーが極端または過剰反応な挙動に退行するのを防ぎました。
Constitutional AIはモデルの過度な回避（evasiveness）にどのように対処していますか？
批判、修正、フィードバックの過程でモデルに対し、「答えられません」といった定型的な拒否に頼るのではなく、不適切な要求がなぜ有害であるかを思慮深く説明しながら対応するよう指示することで対処しています。
このページの解説は AI が論文から作成したもので、誤りを含む場合があります。詳細は原文をご確認ください。