Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Guía de lectura

Problema y motivación

El few-shot prompting estándar proporciona a los modelos de lenguaje ejemplos de entrada y salida, lo que permite un rendimiento sólido en muchas tareas directas de respuesta a preguntas. Sin embargo, en tareas de razonamiento de múltiples pasos —como la aritmética de escuela primaria, preguntas de sentido común multienlace (multi-hop) y manipulaciones simbólicas—, el simple hecho de escalar el tamaño del modelo bajo un prompting estándar a menudo produce curvas de escalado planas y un rendimiento deficiente. Los enfoques previos que intentaron resolver problemas de múltiples pasos dependían del entrenamiento/ajuste fino (fine-tuning) de modelos de justificación especializados (que requieren grandes cantidades de costosos datos supervisados de justificaciones) o de representaciones neurosimbólicas formales. Este artículo investiga si los modelos de lenguaje de propósito general pueden ejecutar razonamientos multietapa enteramente en contexto, sin ninguna actualización de parámetros.

Ideas clave

• Descomposición mediante Chain-of-Thought: Los humanos descomponen problemas complejos en pasos secuenciales de razonamiento antes de enunciar una respuesta. Los modelos de lenguaje pueden imitar este comportamiento cuando se guían por demostraciones en contexto estructuradas como tripletas: $⟨\text{entrada},\text{cadena de pensamiento},\text{salida}⟩$.
• Emergencia con la escala: El chain-of-thought (CoT) prompting no proporciona mejoras significativas —y con frecuencia degrada el rendimiento— en modelos pequeños ($<10\text{B}$ parámetros). Emerge como una capacidad efectiva únicamente en modelos con $\sim 100\text{B}$ de parámetros o más.
• Cómputo intermedio variable: La generación de tokens en lenguaje natural permite al modelo asignar dinámicamente cómputo adicional (a través de la generación autorregresiva de tokens) a problemas multietapa más difíciles, algo que la predicción directa de la respuesta no puede hacer.

Método (con las ecuaciones clave)

El método modifica el paradigma del few-shot prompting. En lugar de formular prompts con pares de entrada y salida $(x_i,y_i)$: $${\mathcal{P}}_{\text{standard}}=\{(x_1,y_1),(x_2,y_2),\dots ,(x_k,y_k)\}$$ donde el modelo calcula directamente $P(y\mid x,{\mathcal{P}}_{\text{standard}})$, el chain-of-thought prompting inserta una cadena de razonamiento en lenguaje natural $c_i=(c_{i,1},c_{i,2},\dots ,c_{i,m})$ antes de la respuesta final: $${\mathcal{P}}_{\text{CoT}}=\{(x_1,c_1,y_1),(x_2,c_2,y_2),\dots ,(x_k,c_k,y_k)\}$$ En el momento de la inferencia para una entrada de prueba $x$, el modelo genera autorregresivamente tanto la cadena de razonamiento como la respuesta: $$P(c,y\mid x,{\mathcal{P}}_{\text{CoT}})=\prod _{t=1}^{|c|}P(c_t\mid x,{\mathcal{P}}_{\text{CoT}},c_{<t})\prod _{j=1}^{|y|}P(y_j\mid x,{\mathcal{P}}_{\text{CoT}},c,y_{<j})$$ Para los benchmarks de aritmética, los autores también evalúan una extensión post-hoc con calculadora externa: las ecuaciones matemáticas generadas dentro de $c$ se evalúan usando eval de Python, propagando los resultados hacia adelante mediante coincidencia de cadenas para evitar errores de cálculo aritmético.

Resultados (con las cifras más importantes)

• Razonamiento aritmético (GSM8K): En GSM8K, el prompting estándar en PaLM 540B logra un 17.9%, mientras que el CoT prompting de 8 ejemplos alcanza un 56.9% (y un 58.6% con calculadora externa), superando el récord supervisado anterior del 55% de GPT-3 175B finetuned con verificador. Codex alcanza un 63.1% (65.4% con calculadora).
• Otros benchmarks matemáticos: PaLM 540B alcanza un 79.0% en SVAMP (frente al 69.4% estándar), 73.9% en ASDiv (frente al 72.1% estándar), 35.8% en AQuA (frente al 25.2% estándar) y 93.3% en MAWPS (frente al 79.2% estándar).
• Razonamiento de sentido común: PaLM 540B CoT establece un nuevo estado del arte en StrategyQA con un 75.6% (frente al 68.6% estándar y el 69.4% del mejor modelo supervisado anterior) y supera a entusiastas humanos de los deportes en Sports Understanding (95.4% frente a 84.0%).
• Manipulación simbólica y generalización de longitud: En la concatenación de la última letra, PaLM 540B pasa del 7.6% (estándar) al 99.4% (CoT) dentro del dominio (2 palabras). Al evaluarse fuera de dominio con 4 palabras, el prompting estándar cae al 0.0%, mientras que CoT conserva una precisión del 63.0%.
• Ablaciones: Las ablaciones en LaMDA 137B confirman que el prompting de "solo ecuaciones" (5.4% en GSM8K), de "solo cómputo variable" mediante puntos (6.4%) y de "razonamiento después de la respuesta" (6.1%) no logran igualar al CoT prompting estándar (14.3%), lo que demuestra que los pasos intermedios en lenguaje natural previos a la respuesta son esenciales.

Limitaciones y preguntas abiertas

• Sin garantía de razonamiento fáctico: Las cadenas generadas pueden no ser fieles, contener fallos semánticos o alucinaciones, llegando a veces a la respuesta correcta por coincidencia (especialmente en formatos binarios o de opción múltiple).
• Restricción de escala del modelo: La técnica resulta costosa de implementar en entornos de producción porque requiere modelos con $\sim 100\text{B}+$ parámetros para funcionar de manera confiable.
• La duda abierta sobre el razonamiento real: El artículo señala que imitar justificaciones humanas no demuestra que las representaciones neuronales subyacentes ejecuten un razonamiento formal.