Constitutional AI: Harmlessness from AI Feedback

Guide de lecture

Problème et motivation

Le Reinforcement Learning from Human Feedback (RLHF) standard souffre de plusieurs goulots d'étranglement lors de l'alignement des assistants linguistiques :

• Forte dépendance aux annotations humaines de nocivité : La collecte de dizaines de milliers de comparaisons de préférences humaines pour évaluer la nocivité est coûteuse et expose les annotateurs humains à des contenus toxiques.
• Évasivité et tension avec l'utilité : Les modèles entraînés via RLHF apprennent souvent à répondre aux requêtes sensibles par des refus stéréotypés tels que « Je ne peux pas répondre à cela », au détriment de l'utilité et de la transparence.
• Opacité : Des milliers d'annotations de préférences privées rendent les objectifs exacts d'alignement implicites et difficiles à inspecter ou à auditer.

Constitutional AI (CAI) vise à faire monter la supervision en échelle en remplaçant les annotations humaines de nocivité par des principes explicites en langage naturel (une constitution), entraînant une IA à s'autocritiquer, se réviser et générer son propre feedback de préférences.

Idées clés

• Une constitution de principes : Le comportement est entièrement orienté par un ensemble restreint de règles en langage naturel (environ 16 principes) plutôt que par des annotations humaines de nocivité.
• Pipeline en deux étapes : Une étape d'apprentissage supervisé (SL) ramène les sorties du modèle sur la distribution souhaitée à l'aide d'autocritiques et de révisions, suivie d'une étape d'apprentissage par renforcement à partir du feedback de l'IA (RLAIF) qui entraîne un modèle de préférence sur des comparaisons évaluées par le modèle.
• Engagement plutôt qu'évasion : L'assistant est guidé pour expliquer ses objections aux demandes néfastes plutôt que d'émettre des refus systématiques.
• Supervision par chaîne de pensée (CoT) : L'exploitation d'un raisonnement pas à pas lors de l'évaluation améliore considérablement la capacité du modèle à identifier les dangers et à évaluer les préférences sous forme de choix multiples.

Méthode

1. Étape d'apprentissage supervisé (Critique $\to$ Révision $\to$ SL-CAI)

1. Échantillonner une sortie initiale d'un modèle RLHF utile à l'aide d'une invite de red-teaming $x$.
2. Demander au modèle de critiquer sa propre réponse selon un principe constitutionnel échantillonné aléatoirement : $$\text{Critique}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{CritiqueRequest})$$
3. Demander au modèle de réviser la réponse pour répondre à la critique : $$y_{\text{revised}}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{Critique},\text{RevisionRequest})$$
4. Répéter le cycle critique-révision de manière itérative (généralement jusqu'à 4 révisions).
5. Ajuster un LM pré-entraîné sur les réponses révisées associées à des données de démonstration d'utilité (182 831 requêtes de red teaming, 135 296 requêtes d'utilité) pendant une époque avec une taille de lot de 1024.

2. Étape d'apprentissage par renforcement (RLAIF)

1. En utilisant le modèle SL-CAI, échantillonner des paires de réponses $(y_A,y_B)$ pour les invites.
2. Présenter la conversation, la paire de réponses et un principe échantillonné à un modèle de feedback sous un format à choix multiples (éventuellement en utilisant une invite de type Chain-of-Thought).
3. Calculer les probabilités cibles normalisées à partir des logits de complétion du modèle de feedback : $$P(A)=\frac{e^{z_A}}{e^{z_A}+e^{z_B}}$$ Lors de l'utilisation de Chain-of-Thought, les probabilités cibles sont bornées (clamped) dans l'intervalle $[0,40,0,60]$ pour éviter un excès de confiance.
4. Entraîner un modèle de préférence (PM) en utilisant des données mixtes : 135 296 comparaisons d'utilité étiquetées par des humains et 182 831 comparaisons d'innocuité générées par l'IA.
5. Optimiser la politique SL-CAI par rapport à ce modèle de préférence via RL.

Résultats

• Améliorations de Pareto : Les évaluations par des crowdworkers (basées sur 10 274 comparaisons d'utilité et 8 135 comparaisons d'innocuité) montrent que les modèles RL-CAI 52B obtiennent de meilleurs scores Elo d'innocuité à niveau d'utilité équivalent par rapport aux modèles entraînés sur des annotations humaines d'innocuité.
• Évasivité réduite : Lorsque les crowdworkers ont reçu pour consigne explicite de préférer des explications réfléchies aux refus évasifs, les modèles RL-CAI ont systématiquement surpassé les modèles HH RLHF standards.
• Montée en échelle du feedback de l'IA : Les modèles plus grands (52B) dotés d'un raisonnement par chaîne de pensée ont approché la précision des modèles entraînés sur les préférences humaines sur les benchmarks d'évaluation HHH (obtenant bien plus de 80 à 90 % de précision sur l'identification binaire de nocivité à choix multiples).
• Critiques vs révisions directes : Les critiques ont apporté des améliorations notables des scores d'innocuité pour les modèles plus petits, tout en étant légèrement supérieures ou équivalentes sur les modèles 52B par rapport à une révision directe.

Limites et questions ouvertes

• Dépendance aux labels humains pour l'utilité : Les expériences n'ont éliminé les labels de feedback humain que pour l'innocuité ; les données d'utilité reposaient toujours sur des comparaisons humaines.
• Effet Goodhart et sur-optimisation : Un entraînement prolongé par RL a parfois produit un langage moralisateur ou stéréotypé (par exemple en répétant continuellement « You are valid, valued, and cared for »).
• Calibration des cibles CoT : Comme le raisonnement par chaîne de pensée amène le modèle à privilégier fortement un choix, le bornage des probabilités (clamping) s'est avéré nécessaire comme heuristique pour maintenir la stabilité du modèle de préférence.
• Risques liés au double usage : Réduire la charge d'annotation nécessaire pour piloter les modèles de langage facilite également l'entraînement de modèles vers des objectifs néfastes sans supervision humaine.