Constitutional AI: Harmlessness from AI Feedback

Guia de leitura

Problema e motivação

O Reinforcement Learning from Human Feedback (RLHF) padrão sofre de vários gargalos ao alinhar assistentes de linguagem:

• Forte dependência de rótulos humanos de nocividade: Coletar dezenas de milhares de comparações de preferências humanas sobre conteúdo nocivo é caro e expõe anotadores humanos a conteúdos tóxicos.
• Evasividade e tensão com a prestatividade: Modelos treinados via RLHF frequentemente aprendem a responder a prompts sensíveis com recusas prontas como “Não posso responder a isso”, sacrificando a utilidade e a transparência.
• Opacidade: Milhares de rótulos de preferências privadas tornam os objetivos exatos de alinhamento implícitos e difíceis de inspecionar ou auditar.

O Constitutional AI (CAI) visa escalar a supervisão substituindo anotações humanas de nocividade por princípios explícitos em linguagem natural (uma constituição), treinando uma IA para fazer autocrítica, revisar e gerar seu próprio feedback de preferência.

Ideias centrais

• Uma Constituição de Princípios: O comportamento é guiado inteiramente por meio de um pequeno conjunto de regras em linguagem natural (aproximadamente 16 princípios), em vez de rótulos humanos de nocividade.
• Pipeline em Dois Estágios: Um estágio de Supervised Learning (SL) traz as saídas do modelo para dentro da distribuição usando autocríticas e revisões, seguido por um estágio de Reinforcement Learning from AI Feedback (RLAIF) que treina um modelo de preferência em comparações avaliadas por modelos.
• Engajamento em Vez de Evasividade: O assistente é orientado a explicar as objeções a pedidos prejudiciais em vez de emitir recusas genéricas e absolutas.
• Supervisão com Chain-of-Thought (CoT): Aproveitar o raciocínio passo a passo durante a avaliação melhora substancialmente a capacidade do modelo de identificar danos e avaliar preferências de múltipla escolha.

Método

1. Estágio de Aprendizado Supervisionado (Crítica $\to$ Revisão $\to$ SL-CAI)

1. Amostrar uma saída inicial de um modelo RLHF prestativo usando um prompt de red-teaming $x$.
2. Induzir o modelo a criticar sua própria resposta de acordo com um princípio constitucional amostrado aleatoriamente: $$\text{Critique}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{CritiqueRequest})$$
3. Induzir o modelo a revisar a resposta para satisfazer a crítica: $$y_{\text{revised}}\sim P_{\text{model}}(\cdot \mid x,y_{\text{initial}},\text{Critique},\text{RevisionRequest})$$
4. Repetir a crítica-revisão iterativamente (geralmente até 4 revisões).
5. Fazer o ajuste fino de um LM pré-treinado nas respostas revisadas combinadas com dados de demonstração de prestatividade (182.831 prompts de red team, 135.296 prompts de prestatividade) por uma época com tamanho de lote 1024.

2. Estágio de Aprendizado por Reforço (RLAIF)

1. Usando o modelo SL-CAI, amostrar pares de respostas $(y_A,y_B)$ para os prompts.
2. Apresentar a conversa, o par de respostas e um princípio amostrado a um modelo de feedback em formato de múltipla escolha (opcionalmente usando Chain-of-Thought prompting).
3. Computar probabilidades-alvo normalizadas a partir dos logits de completamento do modelo de feedback: $$P(A)=\frac{e^{z_A}}{e^{z_A}+e^{z_B}}$$ Ao usar Chain-of-Thought, as probabilidades-alvo são limitadas (clamped) ao intervalo $[0.40,0.60]$ para evitar excesso de confiança.
4. Treinar um Preference Model (PM) usando dados mistos: 135.296 comparações de prestatividade rotuladas por humanos e 182.831 comparações de inofensividade geradas por IA.
5. Otimizar a política do SL-CAI em relação a esse modelo de preferência via RL.

Resultados

• Melhorias de Pareto: Avaliações de crowdworkers (baseadas em 10.274 comparações de prestatividade e 8.135 de inofensividade) mostram que os modelos RL-CAI de 52B alcançam pontuações Elo de inofensividade superiores com prestatividade equivalente em comparação com modelos treinados em rótulos humanos de inofensividade.
• Evasividade Reduzida: Quando os crowdworkers foram explicitamente instruídos a preferir explicações bem fundamentadas a recusas evasivas, os modelos RL-CAI superaram consistentemente os modelos HH RLHF padrão.
• Escalabilidade do Feedback de IA: Modelos maiores (52B) com raciocínio Chain-of-Thought aproximaram-se da acurácia dos modelos treinados com preferências humanas nos benchmarks de avaliação HHH (marcando bem acima de 80–90% de acurácia na identificação binária de danos por múltipla escolha).
• Críticas vs. Revisões Diretas: As críticas proporcionaram melhorias perceptíveis nas pontuações de inofensividade para modelos menores, enquanto tiveram desempenho ligeiramente superior ou equivalente nos modelos de 52B em comparação com a revisão direta.

Limitações e questões em aberto

• Dependência de Rótulos Humanos de Prestatividade: Os experimentos eliminaram rótulos de feedback humano apenas para inofensividade; os dados de prestatividade ainda dependeram de rótulos de comparação humanos.
• Goodharting e Sobreotimização: O treinamento estendido de RL às vezes produziu linguagem moralista ou padronizada (por exemplo, afirmando repetidamente “Você é válido, valorizado e cuidado”).
• Calibração de Alvos com CoT: Como o raciocínio Chain-of-Thought faz com que o modelo favoreça fortemente uma opção, o clamping de probabilidade foi necessário como uma heurística para manter a estabilidade do modelo de preferência.
• Preocupações com Uso Dual: Reduzir a barreira de anotação para direcionar modelos de linguagem também facilita o treinamento de modelos voltados para objetivos prejudiciais sem supervisão humana.