Constitutional AI: Harmlessness from AI Feedback

Guía de lectura

Problema y motivación

El aprendizaje por refuerzo a partir de feedback humano estándar (RLHF) presenta varios cuellos de botella al alinear asistentes de lenguaje:

• Fuerte dependencia de etiquetas humanas de daño: Recopilar decenas de miles de comparaciones de preferencias humanas sobre nocividad es costoso y expone a los anotadores humanos a contenido tóxico.
• Evasividad y conflicto con la utilidad: Los modelos entrenados mediante RLHF a menudo aprenden a responder a peticiones sensibles con negativas automáticas como “No puedo responder a eso”, sacrificando la utilidad y la transparencia.
• Opacidad: Miles de etiquetas de preferencias privadas hacen que los objetivos exactos de alineación sean implícitos y difíciles de inspeccionar o auditar.

Constitutional AI (CAI) busca escalar la supervisión reemplazando las anotaciones humanas de daño con principios explícitos en lenguaje natural (una constitución), entrenando a una IA para que se autocritique, se revise y genere su propio feedback de preferencias.

Ideas clave

• Una constitución de principios: El comportamiento se guía por completo mediante un conjunto reducido de reglas en lenguaje natural (aproximadamente 16 principios) en lugar de etiquetas humanas de daño.
• Canalización en dos etapas: Una etapa de aprendizaje supervisado (SL) ajusta las salidas del modelo a la distribución adecuada mediante autocríticas y revisiones, seguida de una etapa de aprendizaje por refuerzo a partir de feedback de IA (RLAIF) que entrena un modelo de preferencias sobre comparaciones evaluadas por modelos.
• Interacción frente a evasividad: Se guía al asistente para que explique sus objeciones a solicitudes perjudiciales en lugar de emitir negativas categóricas.
• Supervisión con Chain-of-Thought (CoT): Aprovechar el razonamiento paso a paso durante la evaluación mejora sustancialmente la capacidad del modelo para identificar daños y evaluar preferencias de opción múltiple.

Método

1. Etapa de aprendizaje supervisado (Crítica $\to$ Revisión $\to$ SL-CAI)

1. Muestrear una salida inicial de un modelo RLHF útil usando un prompt de red-teaming $x$.
2. Pedir al modelo que critique su propia respuesta de acuerdo con un principio constitucional seleccionado al azar: $$\text{Critique}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{CritiqueRequest})$$
3. Pedir al modelo que revise la respuesta para satisfacer la crítica: $$y_{\text{revised}}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{Critique},\text{RevisionRequest})$$
4. Repetir la crítica-revisión de forma iterativa (típicamente hasta 4 revisiones).
5. Ajustar un LM preentrenado con las respuestas revisadas combinadas con datos de demostración de utilidad (182,831 prompts de red team, 135,296 prompts de utilidad) durante una época con un tamaño de lote de 1024.

2. Etapa de aprendizaje por refuerzo (RLAIF)

1. Utilizando el modelo SL-CAI, muestrear pares de respuestas $(y_A,y_B)$ para los prompts.
2. Presentar la conversación, el par de respuestas y un principio seleccionado a un modelo de feedback en un formato de opción múltiple (opcionalmente utilizando prompting de Chain-of-Thought).
3. Calcular probabilidades objetivo normalizadas a partir de los logits de finalización del modelo de feedback: $$P(A)=\frac{e^{z_A}}{e^{z_A}+e^{z_B}}$$ Cuando se utiliza Chain-of-Thought, las probabilidades objetivo se limitan al rango $[0.40,0.60]$ para evitar el exceso de confianza.
4. Entrenar un modelo de preferencias (PM) utilizando datos mixtos: 135,296 comparaciones de utilidad etiquetadas por humanos y 182,831 comparaciones de inocuidad generadas por IA.
5. Optimizar la política SL-CAI frente a este modelo de preferencias mediante RL.

Resultados

• Mejoras de Pareto: Las evaluaciones de crowdworkers (basadas en 10,274 comparaciones de utilidad y 8,135 de inocuidad) muestran que los modelos RL-CAI de 52B logran puntuaciones Elo de inocuidad superiores con una utilidad equivalente en comparación con los modelos entrenados con etiquetas humanas de inocuidad.
• Menor evasividad: Cuando se instruyó explícitamente a los crowdworkers para que prefirieran explicaciones reflexivas frente a negativas evasivas, los modelos RL-CAI superaron constantemente a los modelos HH RLHF estándar.
• Escalado del feedback de IA: Los modelos más grandes (52B) con razonamiento Chain-of-Thought se acercaron a la precisión de los modelos entrenados con preferencias humanas en las pruebas de referencia de evaluación HHH (superando ampliamente el 80–90% de precisión en la identificación binaria de daños de opción múltiple).
• Críticas frente a revisiones directas: Las críticas generaron mejoras notables en las puntuaciones de inocuidad para modelos más pequeños, mientras que rindieron de forma ligeramente superior o equivalente en modelos de 52B en comparación con la revisión directa.

Limitaciones y preguntas abiertas

• Dependencia de etiquetas humanas de utilidad: Los experimentos eliminaron las etiquetas de feedback humano solo para la inocuidad; los datos de utilidad aún dependían de etiquetas de comparación humana.
• Ley de Goodhart y sobreoptimización: El entrenamiento prolongado de RL a veces produjo un lenguaje moralizante o repetitivo (por ejemplo, reiterando “Eres válido, valorado y cuidado”).
• Calibración de objetivos de CoT: Dado que el razonamiento Chain-of-Thought hace que el modelo favorezca fuertemente una opción, se requirió la limitación de probabilidades como heurística para mantener la estabilidad del modelo de preferencias.
• Preocupaciones de doble uso: Reducir la barrera de anotación para dirigir modelos de lenguaje también facilita el entrenamiento de modelos hacia objetivos perjudiciales sin supervisión humana.