ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao; Jeffrey Zhao; Dian Yu; Nan Du; Izhak Shafran; Karthik Narasimhan; Yuan Cao

Статьи · arXiv 2210.03629

ReAct: объединение рассуждений и действий в языковых моделях

ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao

Опубликовано 2022-10-06cs.CLcs.AIcs.LG arXiv PDF

Читать с переводом и ИИ

Кратко в трёх строках

🎯 LLM, использующие только chain-of-thought, рассуждают изолированно и галлюцинируют, а агентам, выполняющим только действия, не хватает рабочей памяти и стратегического планирования.
🔧 Пространство действий агента дополняется мыслями на естественном языке, которые чередуются с физическими действиями или вызовами API для динамического планирования, отслеживания контекста и выполнения задач.
📈 ReAct достигает 71% успеха на ALFWorld и 40.0% на WebShop, превосходя бейзлайны имитационного обучения/RL и резко снижая уровень галлюцинаций в QA.

Аннотация

Хотя большие языковые модели (LLM) продемонстрировали впечатляющие возможности в задачах понимания языка и интерактивного принятия решений, их способности к рассуждению (например, chain-of-thought prompting) и совершению действий (например, генерация планов действий) преимущественно исследовались по отдельности. В этой работе мы исследуем использование LLM для чередующейся генерации как цепочек рассуждений, так и специфичных для задачи действий, что обеспечивает более эффективный синергетический эффект: цепочки рассуждений помогают модели формулировать, отслеживать и обновлять планы действий, а также обрабатывать исключения, в то время как действия позволяют ей взаимодействовать с внешними источниками, такими как базы знаний или среды, для сбора дополнительной информации. Мы применяем наш подход под названием ReAct к широкому спектру языковых задач и задач принятия решений, демонстрируя его преимущество над современными бейзлайнами, а также повышенную интерпретируемость и надежность для человека по сравнению с методами без компонентов рассуждения или действий. В частности, в задачах вопросно-ответного поиска (HotpotQA) и верификации фактов (FEVER) ReAct преодолевает проблемы галлюцинаций и накопления ошибок, характерные для chain-of-thought, за счет взаимодействия с простым API Википедии и генерирует похожие на человеческие траектории решения задач, которые более интерпретируемы, чем бейзлайны без цепочек рассуждений. На двух бенчмарках интерактивного принятия решений (ALFWorld и WebShop) ReAct превосходит методы имитационного обучения и обучения с подкреплением по абсолютному показателю успешности на 34% и 10% соответственно, требуя при этом всего один или два примера в контексте. Сайт проекта с исходным кодом: https://react-lm.github.io

Оригинальная аннотация (англ.)

While large language models (LLMs) have demonstrated impressive capabilities across tasks in language understanding and interactive decision making, their abilities for reasoning (e.g. chain-of-thought prompting) and acting (e.g. action plan generation) have primarily been studied as separate topics. In this paper, we explore the use of LLMs to generate both reasoning traces and task-specific actions in an interleaved manner, allowing for greater synergy between the two: reasoning traces help the model induce, track, and update action plans as well as handle exceptions, while actions allow it to interface with external sources, such as knowledge bases or environments, to gather additional information. We apply our approach, named ReAct, to a diverse set of language and decision making tasks and demonstrate its effectiveness over state-of-the-art baselines, as well as improved human interpretability and trustworthiness over methods without reasoning or acting components. Concretely, on question answering (HotpotQA) and fact verification (Fever), ReAct overcomes issues of hallucination and error propagation prevalent in chain-of-thought reasoning by interacting with a simple Wikipedia API, and generates human-like task-solving trajectories that are more interpretable than baselines without reasoning traces. On two interactive decision making benchmarks (ALFWorld and WebShop), ReAct outperforms imitation and reinforcement learning methods by an absolute success rate of 34% and 10% respectively, while being prompted with only one or two in-context examples. Project site with code: https://react-lm.github.io

Разбор статьи

Проблема и мотивация

Большие языковые модели (LLM) превосходно рассуждают с помощью Chain-of-Thought (CoT) и принимают решения, генерируя выполнимые команды. Однако эти две способности обычно изучались изолированно:

Рассуждения CoT не заземлены (ungrounded): модель опирается исключительно на замороженные внутренние представления, что делает ее склонной к фактическим галлюцинациям, нехватке актуальных знаний и лавинообразному накоплению ошибок.
Системы, выполняющие только действия (action-only), отображают контекст напрямую в действия среды: им не хватает явной рабочей памяти для формулирования абстрактных целей, отслеживания промежуточных подцелей или обработки неожиданных изменений состояния.

Вдохновляясь внутренней речью человека, авторы этой статьи исследуют, создает ли чередование шагов рассуждения со взаимодействием со средой взаимоусиливающий цикл: рассуждения направляют действия, а обратная связь от действий заземляет рассуждения.

Ключевые идеи

Расширение пространства действий (Action Space Augmentation): Пространство действий агента расширяется за счет включения мыслей на естественном языке, которые не вызывают внешних наблюдений, но обновляют внутренний контекст.
Плотный и разреженный режимы мышления: В зависимости от задачи мысли могут быть жестко синхронизированы с действиями (пошаговое чередование для multi-hop QA) или асинхронны и разрежены (используются только при планировании или обработке неожиданных ситуаций в играх с длинным горизонтом планирования).
Гибридные рассуждения: Объединение внутренних параметрических знаний (через CoT self-consistency) с полученной внешней обратной связью (через ReAct) уравновешивает фактическую точность и гибкость рассуждений.

Метод (с ключевыми формулами)

Рассмотрим интерактивную среду, где в момент времени $t$ агент получает наблюдение $o_{t} \in O$ , поддерживает контекст траектории $c_{t} = (o_{1}, a_{1}, \dots, o_{t - 1}, a_{t - 1}, o_{t})$ и действует в соответствии со стратегией $π (a_{t} ∣ c_{t})$ .

ReAct расширяет пространство действий до: $\hat{A} = A \cup L$ где $L$ — пространство выражений на свободном естественном языке.

Если агент генерирует действие в среде $\overset{a}{^}_{t} \in A$ , среда возвращает наблюдение $o_{t} \in O$ , формируя следующий контекст $c_{t + 1} = (c_{t}, \overset{a}{^}_{t}, o_{t})$ .
Если агент генерирует мысль $\overset{a}{^}_{t} \in L$ , внешнее наблюдение не формируется; мысль просто добавляется к контексту агента: $c_{t + 1} = (c_{t}, \overset{a}{^}_{t})$ .

Для задач с базами знаний (HotpotQA, FEVER) набор действий API имеет вид $A = {Search [entity], Lookup [string], Finish [answer]}$ . Для гибридных конфигураций:

$ReAct \to CoT-SC$ : Если ReAct не завершает работу за фиксированное число шагов (например, 7 для HotpotQA, 5 для FEVER), управление передается механизму CoT self-consistency с голосованием большинством.
$CoT-SC \to ReAct$ : Если согласие большинства среди $n$ сэмплов падает ниже $n /2$ , выполняется откат к ReAct.

Результаты (с важнейшими числами)

Рассуждения на основе знаний (PaLM-540B):
- На HotpotQA комбинация обоих режимов ( $ReAct \to CoT-SC$ ) достигает 35.1% Exact Match (EM) по сравнению со Standard (28.7%), CoT (29.4%) и Act (25.7%).
- На FEVER конфигурация $CoT-SC \to ReAct$ достигает 64.6% Accuracy против Standard (57.1%) и CoT (56.3%).
- Анализ ошибок показывает, что у ReAct галлюцинации присутствуют в 0% случаев неудач на HotpotQA, тогда как у CoT галлюцинации составляют 56% всех ошибок.
Принятие решений (ALFWorld и WebShop):
- На ALFWorld метод best-of-6 ReAct достигает среднего показателя успешности 71% (и 57% в среднем по промптам), превосходя подход Act-only (лучший — 45%), промптинг в стиле Inner Monologue (лучший — 53%) и агента имитационного обучения BUTLER (лучший — 37%), обученного на $1 0^{5}$ траекторий.
- На WebShop 1-shot ReAct достигает 40.0% успешности и среднего балла 66.6, опережая бейзлайны имитационного обучения + обучения с подкреплением (28.7% успешности, 62.4 балла), обученные более чем на 10 000 инструкций.
Finetuning: Дообучение PaLM-8B и PaLM-62B на 3000 самостоятельно сгенерированных успешных траекторий выводит ReAct в лидеры, причем дообученный ReAct на базе PaLM-8B превосходит все методы промптинга для модели 62B.

Ограничения и открытые вопросы

Ограничения In-Context Prompting: Из-за ограниченного контекстного окна LLM могут наблюдать лишь несколько демонстраций (1–6 примеров), что затрудняет освоение огромных пространств действий исключительно через промпты.
Срыв поиска и зацикливание: При жадном декодировании неинформативные результаты поиска приводят к сбою ReAct в 23% ошибочных случаев, иногда загоняя модель в повторяющиеся циклы.
Безопасность и выполнение инструментов: Предоставление LLM возможности совершать действия в открытых средах создает риски непреднамеренных операций (например, совершение нежелательных транзакций в вебе или извлечение конфиденциальных данных).

Ключевые термины

ReAct: Парадигма на основе промптинга, побуждающая большие языковые модели генерировать чередующиеся цепочки рассуждений и предметно-ориентированные действия для решения общих задач.
Chain-of-Thought (CoT): Подход к промптингу, при котором модели генерируют промежуточные шаги рассуждения перед выдачей окончательного ответа, не совершая действий во внешней среде.
Action Space Augmentation: Формальное расширение дискретного набора действий агента за счет включения произвольных высказываний на естественном языке, определяемых как мысли, не изменяющие состояние внешней среды.
Inner Monologue (IM): Бейзлайн и предшествующий подход, в котором мысли языковой модели преимущественно ограничены реакцией на обратную связь из внешней среды, а не гибким внутренним стратегическим планированием.
CoT-SC: Chain-of-thought с механизмом согласованности (self-consistency), где ответы сэмплируются несколько раз с ненулевой температурой и выбираются путем голосования большинством.
ALFWorld: Текстовая интерактивная среда на базе бенчмарка ALFRED, проверяющая декомпозицию многошаговых бытовых целей, навигацию и манипуляцию объектами.
WebShop: Реалистичный бенчмарк веб-навигации с 1.18 млн реальных товаров с Amazon, оценивающий способность агента находить и покупать товары по текстовым инструкциям.
Self-Reflection / Thought Editing: Вмешательство человека в контур управления (human-in-the-loop), при котором оператор корректирует или направляет траекторию модели, вручную изменяя сгенерированную мысль, вместо модификации весов или истории действий.

Вопросы

Почему ReAct менее склонен к галлюцинациям, чем стандартный Chain-of-Thought?

CoT полагается исключительно на внутреннюю параметрическую память, которая нередко генерирует несуществующие факты. ReAct обращается к внешним источникам (например, к API Википедии) с помощью конкретных действий, заземляя последующие мысли непосредственно на полученные наблюдения.

Чем ReAct отличается от WebGPT или SayCan?

WebGPT и SayCan сосредоточены на предсказании действий или планов с использованием обратной связи от человека или моделей доступности действий (affordance models), не требуя от модели явного поддержания, декомпозиции и корректировки собственных вербальных цепочек рассуждений в чередующемся цикле.

Что происходит, если поиск в ReAct не возвращает полезных результатов?

Ошибки поиска составили около 23% всех неудачных случаев ReAct на HotpotQA; модели порой испытывают трудности с переформулированием запросов и застревают в повторяющихся циклах действий при жадном декодировании.

Как работает редактирование мыслей человеком (thought editing) в ReAct?

Поскольку цепочки рассуждений представлены на обычном английском языке, человек может проанализировать ошибочную траекторию и налету отредактировать одну-две промежуточные мысли, моментально выводя агента из цикла или заблуждения без дообучения параметров.

Обзор на этой странице написан ИИ по тексту статьи и может содержать ошибки. Подробности смотрите в самой статье.

Читать с переводом и ИИ