Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Guia de leitura

Problema e motivação

O few-shot prompting padrão fornece aos modelos de linguagem exemplares de entrada e saída, viabilizando um desempenho robusto em muitas tarefas de resposta direta a perguntas. No entanto, em tarefas de raciocínio em múltiplos passos — como aritmética de ensino fundamental, perguntas de senso comum em múltiplos saltos (multi-hop) e manipulações simbólicas —, simplesmente escalar o tamanho do modelo sob o prompting padrão geralmente resulta em curvas de escala estagnadas e desempenho fraco. Abordagens anteriores que tentaram resolver problemas de múltiplos passos dependiam do treinamento/fine-tuning de modelos especializados em justificativas (rationale models, que demandam grandes volumes de dados supervisionados de justificativas de alto custo) ou de representações neuro-simbólicas formais. Este artigo investiga se modelos de linguagem de uso geral conseguem executar raciocínio em múltiplos passos inteiramente in-context, sem qualquer atualização de parâmetros.

Ideias-chave

• Decomposição em Cadeia de Pensamento (Chain-of-Thought Decomposition): Os seres humanos decompõem problemas complexos em etapas sequenciais de raciocínio antes de apresentar uma resposta. Os modelos de linguagem podem reproduzir esse comportamento quando guiados por demonstrações in-context estruturadas como triplas: $⟨\text{entrada},\text{cadeia de pensamento},\text{saıˊda}⟩$.
• Emergência com a Escala (Emergence at Scale): O chain-of-thought (CoT) prompting não traz melhorias significativas — e frequentemente degrada o desempenho — em modelos pequenos ($<10\text{B}$ de parâmetros). Ele emerge como uma capacidade eficaz somente em modelos com $\sim 100\text{B}$ de parâmetros ou mais.
• Computação Intermediária Variável (Variable Intermediate Computation): Gerar tokens em linguagem natural permite que o modelo aloque computação adicional de forma dinâmica (via geração autorregressiva de tokens) para problemas mais difíceis de múltiplos passos, algo que a previsão direta da resposta final não é capaz de fazer.

Método (com as equações principais)

O método modifica o paradigma tradicional de few-shot prompting. Em vez de utilizar prompts com pares de entrada e saída $(x_i,y_i)$: $${\mathcal{P}}_{\text{standard}}=\{(x_1,y_1),(x_2,y_2),\dots ,(x_k,y_k)\}$$ onde o modelo calcula diretamente $P(y\mid x,{\mathcal{P}}_{\text{standard}})$, o chain-of-thought prompting insere uma cadeia de raciocínio em linguagem natural $c_i=(c_{i,1},c_{i,2},\dots ,c_{i,m})$ antes da resposta final: $${\mathcal{P}}_{\text{CoT}}=\{(x_1,c_1,y_1),(x_2,c_2,y_2),\dots ,(x_k,c_k,y_k)\}$$ No momento da inferência para uma entrada de teste $x$, o modelo gera autorregressivamente tanto a cadeia de raciocínio quanto a resposta: $$P(c,y\mid x,{\mathcal{P}}_{\text{CoT}})=\prod _{t=1}^{|c|}P(c_t\mid x,{\mathcal{P}}_{\text{CoT}},c_{<t})\prod _{j=1}^{|y|}P(y_j\mid x,{\mathcal{P}}_{\text{CoT}},c,y_{<j})$$ Para benchmarks aritméticos, os autores também avaliam uma extensão pós-processada com calculadora externa: equações matemáticas geradas dentro de $c$ são avaliadas utilizando a função eval do Python, propagando os resultados adiante por meio de substituição de strings para evitar erros pontuais de cálculo aritmético.

Resultados (com os números mais importantes)

• Raciocínio Aritmético (GSM8K): No GSM8K, o prompting padrão no PaLM 540B atinge 17,9%, enquanto o CoT prompting de 8 disparos (8-shot) alcança 56,9% (e 58,6% com calculadora externa), superando o melhor resultado supervisionado anterior de 55% obtido pelo GPT-3 175B ajustado com fine-tuning e verificador. O Codex alcança 63,1% (65,4% com calculadora).
• Outros Benchmarks Matemáticos: O PaLM 540B alcança 79,0% no SVAMP (vs. 69,4% no padrão), 73,9% no ASDiv (vs. 72,1% no padrão), 35,8% no AQuA (vs. 25,2% no padrão) e 93,3% no MAWPS (vs. 79,2% no padrão).
• Raciocínio de Senso Comum: O PaLM 540B com CoT estabelece um novo estado da arte no StrategyQA com 75,6% (vs. 68,6% padrão e 69,4% do melhor supervisionado anterior) e supera entusiastas humanos de esportes no Sports Understanding (95,4% vs. 84,0%).
• Manipulação Simbólica e Generalização de Comprimento: Na concatenação da última letra, o PaLM 540B passa de 7,6% (padrão) para 99,4% (CoT) dentro do domínio (2 palavras). Quando testado fora do domínio com 4 palavras, o prompting padrão cai para 0,0%, enquanto o CoT mantém 63,0% de acurácia.
• Ablações: Experimentos de ablação no LaMDA 137B confirmam que o prompting apenas com equação ("equation only", 5,4% no GSM8K), apenas computação variável por meio de pontos ("variable compute only", 6,4%) e raciocínio após a resposta ("reasoning after answer", 6,1%) não atingem o nível do CoT prompting padrão (14,3%), demonstrando que as etapas intermediárias em linguagem natural anteriores à resposta são essenciais.

Limitações e questões em aberto

• Sem Garantia de Raciocínio Factual: As cadeias geradas podem não ser fiéis, conter falhas semânticas ou alucinações, por vezes chegando à resposta correta por mera coincidência (especialmente em formatos binários ou de múltipla escolha).
• Restrição de Escala do Modelo: A técnica é cara para disponibilização em produção porque exige modelos com $\sim 100\text{B}+$ de parâmetros para funcionar com consistência.
• A Questão em Aberto do Raciocínio Real: O artigo observa que imitar justificativas humanas não prova que as representações neurais subjacentes estejam executando raciocínio formal propriamente dito.