Constitutional AI: Harmlessness from AI Feedback

Leseleitfaden

Problem und Motivation

Standardmässiges Reinforcement Learning from Human Feedback (RLHF) leidet beim Alignment von Sprachassistenten unter mehreren Engpässen:

• Starke Abhängigkeit von menschlichen Schadenslabels: Das Sammeln von Zehntausenden menschlichen Präferenzvergleichen für Schädlichkeit ist teuer und setzt menschliche Annotatoren toxischen Inhalten aus.
• Ausweichverhalten und Spannungsfeld zur Hilfsbereitschaft: Über RLHF trainierte Modelle lernen oft, sensible Prompts mit vorgefertigten Verweigerungen wie „Das kann ich nicht beantworten“ abzuwehren, was Hilfsbereitschaft und Transparenz opfert.
• Intransparenz: Tausende von privaten Präferenzlabels machen die genauen Alignment-Ziele implizit und schwer überprüf- oder auditierbar.

Constitutional AI (CAI) zielt darauf ab, die Aufsicht zu skalieren, indem menschliche Schadensannotationen durch explizite, natürlichsprachliche Prinzipien (eine Constitution) ersetzt werden, wodurch eine KI trainiert wird, sich selbst zu kritisieren, zu überarbeiten und ihr eigenes Präferenzfeedback zu generieren.

Kernideen

• Eine Constitution von Prinzipien: Das Verhalten wird vollständig über eine kleine Menge von Regeln in natürlicher Sprache (etwa 16 Prinzipien) anstelle von menschlichen Schadenslabels gesteuert.
• Zweistufige Pipeline: Eine Supervised-Learning-Stufe (SL) bringt die Modellausgaben mithilfe von Selbstkritiken und Überarbeitungen auf die gewünschte Verteilung, gefolgt von einer Phase des Reinforcement Learning from AI Feedback (RLAIF), die ein Präferenzmodell auf modellbasiert evaluierten Vergleichen trainiert.
• Auseinandersetzung statt Ausweichen: Der Assistent wird angeleitet, Einwände gegen schädliche Anfragen zu erklären, anstatt pauschale Verweigerungen auszugeben.
• Chain-of-Thought-Supervision (CoT): Die Nutzung von schrittweisem Schlussfolgern während der Evaluation verbessert die Fähigkeit des Modells erheblich, Schäden zu identifizieren und Multiple-Choice-Präferenzen zu bewerten.

Methode

1. Supervised-Learning-Phase (Kritik $\to$ Überarbeitung $\to$ SL-CAI)

1. Ziehen einer anfänglichen Ausgabe aus einem hilfreichen RLHF-Modell unter Verwendung eines Red-Teaming-Prompts $x$.
2. Prompten des Modells, seine eigene Antwort gemäss einem zufällig ausgewählten verfassungsrechtlichen Prinzip zu kritisieren: $$\text{Critique}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{CritiqueRequest})$$
3. Prompten des Modells, die Antwort so zu überarbeiten, dass sie der Kritik entspricht: $$y_{\text{revised}}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{Critique},\text{RevisionRequest})$$
4. Iteratives Wiederholen von Kritik und Überarbeitung (typischerweise bis zu 4 Überarbeitungen).
5. Finetuning eines vortrainierten Sprachmodells auf den überarbeiteten Antworten, kombiniert mit Demonstrationsdaten für Hilfsbereitschaft (182.831 Red-Team-Prompts, 135.296 Hilfsbereitschafts-Prompts) für eine Epoche bei einer Batch-Grösse von 1024.

2. Reinforcement-Learning-Phase (RLAIF)

1. Unter Verwendung des SL-CAI-Modells werden Antwortpaare $(y_A,y_B)$ für Prompts erzeugt.
2. Präsentation der Konversation, des Antwortpaares und eines ausgewählten Prinzips für ein Feedback-Modell im Multiple-Choice-Format (optional unter Verwendung von Chain-of-Thought-Prompting).
3. Berechnung normalisierter Zielwahrscheinlichkeiten aus den Logits der Vervollständigung des Feedback-Modells: $$P(A)=\frac{e^{z_A}}{e^{z_A}+e^{z_B}}$$ Bei Verwendung von Chain-of-Thought werden die Zielwahrscheinlichkeiten auf den Bereich $[0,40,0,60]$ begrenzt (Probability Clamping), um übermässige Konfidenz zu vermeiden.
4. Training eines Präferenzmodells (Preference Model, PM) unter Verwendung gemischter Daten: 135.296 von Menschen annotierte Hilfsbereitschaftsvergleiche und 182.831 KI-generierte Harmlosigkeitsvergleiche.
5. Optimierung der SL-CAI-Policy gegen dieses Präferenzmodell mittels RL.

Ergebnisse

• Pareto-Verbesserungen: Crowdworker-Evaluationen (basierend auf 10.274 Hilfsbereitschafts- und 8.135 Harmlosigkeitsvergleichen) zeigen, dass 52B-RL-CAI-Modelle im Vergleich zu Modellen, die auf menschlichen Harmlosigkeitslabels trainiert wurden, überlegene Harmlosigkeits-Elo-Werte bei äquivalenter Hilfsbereitschaft erzielen.
• Reduziertes Ausweichverhalten: Wenn Crowdworker explizit angewiesen wurden, durchdachte Erklärungen gegenüber ausweichenden Verweigerungen zu bevorzugen, übertrafen RL-CAI-Modelle standardmässige HH-RLHF-Modelle durchweg.
• Skalierung von KI-Feedback: Grössere Modelle (52B) mit Chain-of-Thought-Schlussfolgern näherten sich auf HHH-Evaluationsbenchmarks der Genauigkeit von Modellen an, die mit menschlichen Präferenzen trainiert wurden (mit einer Genauigkeit von weit über 80–90 % bei der binären Multiple-Choice-Schadenserkennung).
• Kritiken vs. direkte Überarbeitungen: Kritiken führten bei kleineren Modellen zu spürbaren Verbesserungen der Harmlosigkeitswerte, während sie bei 52B-Modellen im Vergleich zur direkten Überarbeitung etwas besser oder gleichwertig abschnitten.

Grenzen und offene Fragen

• Abhängigkeit von menschlichen Hilfsbereitschaftslabels: In den Experimenten wurden menschliche Feedback-Labels nur für Harmlosigkeit eliminiert; die Daten zur Hilfsbereitschaft stützten sich weiterhin auf menschliche Vergleichslabels.
• Goodharting und Überoptimierung: Längeres RL-Training führte manchmal zu belehrender Sprache oder Floskeln (z. B. die repetitive Aussage „You are valid, valued, and cared for“).
• Kalibrierung von CoT-Zielen: Da Chain-of-Thought-Reasoning dazu führt, dass das Modell eine Option stark bevorzugt, war Probability Clamping als Heuristik erforderlich, um die Stabilität des Präferenzmodells aufrechtzuerhalten.
• Dual-Use-Bedenken: Die Senkung der Annotationshürde zur Steuerung von Sprachmodellen macht es auch einfacher, Modelle ohne menschliche Aufsicht auf schädliche Ziele hin zu trainieren.