Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Разбор статьи

Проблема и мотивация

Стандартный few-shot промптинг предоставляет языковым моделям примеры в формате «вход–выход», обеспечивая высокое качество во многих задачах прямого ответов на вопросы. Однако в задачах многошагового рассуждения (арифметика школьного уровня, сложные логические вопросы, требующие нескольких логических переходов, и символьные манипуляции) простое увеличение размера модели при стандартном промптинге часто приводит к плоским кривым масштабирования и низкой точности. Предыдущие подходы, пытавшиеся решить многошаговые проблемы, опирались либо на обучение/дообучение специализированных моделей генерации объяснений (требующих больших объемов дорогих размеченных данных), либо на формальные нейросимволические репрезентации. В данной работе исследуется, могут ли универсальные языковые модели выполнять многошаговые рассуждения полностью in-context без какого-либо обновления параметров.

Ключевые идеи

• Декомпозиция с помощью цепочки рассуждений (Chain-of-Thought Decomposition): Человек разбивает сложные задачи на последовательные логические шаги перед тем, как дать ответ. Языковые модели способны повторять это поведение при наличии контекстных примеров в виде троек: $⟨\text{вход},\text{цепочка рассуждений},\text{выход}⟩$.
• Эмерджентность с масштабом (Emergence at Scale): Chain-of-thought (CoT) prompting не приносит значимых улучшений — и зачастую ухудшает качество — на небольших моделях ($<10\text{B}$ параметров). Эта способность проявляется и становится эффективной только в моделях с масштабом порядка $\sim 100\text{B}$ параметров и более.
• Переменный объем промежуточных вычислений (Variable Intermediate Computation): Генерация токенов на естественном языке позволяет модели динамически выделять больше вычислительных ресурсов (за счет авторегрессионной генерации токенов) на более сложные многошаговые задачи, чего нельзя сделать при прямом предсказании ответа.

Метод (с ключевыми формулами)

Метод модифицирует парадигму few-shot промптинга. Вместо промпта с парами «вход–выход» $(x_i,y_i)$: $${\mathcal{P}}_{\text{standard}}=\{(x_1,y_1),(x_2,y_2),\dots ,(x_k,y_k)\}$$ где модель напрямую вычисляет $P(y\mid x,{\mathcal{P}}_{\text{standard}})$, chain-of-thought prompting вставляет цепочку рассуждений на естественном языке $c_i=(c_{i,1},c_{i,2},\dots ,c_{i,m})$ перед финальным ответом: $${\mathcal{P}}_{\text{CoT}}=\{(x_1,c_1,y_1),(x_2,c_2,y_2),\dots ,(x_k,c_k,y_k)\}$$ Во время инференса для тестового входа $x$ модель авторегрессионно генерирует как цепочку рассуждений, так и ответ: $$P(c,y\mid x,{\mathcal{P}}_{\text{CoT}})=\prod _{t=1}^{|c|}P(c_t\mid x,{\mathcal{P}}_{\text{CoT}},c_{<t})\prod _{j=1}^{|y|}P(y_j\mid x,{\mathcal{P}}_{\text{CoT}},c,y_{<j})$$ Для арифметических бенчмарков авторы также тестируют post-hoc расширение с внешним калькулятором: математические уравнения, сгенерированные внутри $c$, вычисляются с помощью функции eval в Python, а результаты подставляются далее по тексту через сопоставление строк, что предотвращает вычислительные ошибки в арифметике.

Результаты (с важнейшими цифрами)

• Арифметические рассуждения (GSM8K): На GSM8K стандартный промптинг для PaLM 540B дает 17.9%, тогда как 8-shot CoT prompting достигает 56.9% (и 58.6% с внешним калькулятором), превосходя предыдущий лучший результат обучения с учителем (55%) у дообученной GPT-3 175B с верификатором. Codex достигает 63.1% (65.4% с калькулятором).
• Другие математические бенчмарки: PaLM 540B набирает 79.0% на SVAMP (против 69.4% со стандартным промптингом), 73.9% на ASDiv (против 72.1%), 35.8% на AQuA (против 25.2%) и 93.3% на MAWPS (против 79.2%).
• Рассуждения о здравом смысле (Commonsense Reasoning): PaLM 540B CoT устанавливает новый state of the art на StrategyQA с результатом 75.6% (против 68.6% со стандартным промптингом и 69.4% предыдущего рекорда с учителем) и превосходит людей-любителей спорта на Sports Understanding (95.4% против 84.0%).
• Символьные манипуляции и генерализация по длине: В задаче конкатенации последних букв слов результат PaLM 540B вырастает с 7.6% (стандартный) до 99.4% (CoT) in-domain (для 2 слов). При тестировании out-of-domain на 4 словах точность стандартного промптинга падает до 0.0%, тогда как CoT сохраняет точность 63.0%.
• Аблейшн-исследования (Ablations): Эксперименты на LaMDA 137B подтверждают, что промптинг «только уравнениями» (5.4% на GSM8K), «только переменными вычислениями» через точки (6.4%) и «рассуждениями после ответа» (6.1%) значительно уступают стандартному CoT-промптингу (14.3%). Это доказывает критическую необходимость промежуточных шагов на естественном языке до формулирования ответа.

Ограничения и открытые вопросы

• Нет гарантии фактологической корректности рассуждений: Сгенерированные цепочки могут быть противоречивыми, содержать семантические ошибки или галлюцинации, иногда приводя к правильному ответу чисто случайно (особенно в задачах с бинарным выбором или вариантами ответов).
• Требование к масштабу модели: Метод ресурсоемок для применения в продакшене, так как надежно работает только на моделях с $\sim 100\text{B}+$ параметров.
• Открытый вопрос о «подлинном» рассуждении: Авторы подчеркивают, что имитация человеческих рассуждений сама по себе не доказывает, что внутренние нейронные репрезентации выполняют строгое формальное рассуждение.