ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao; Jeffrey Zhao; Dian Yu; Nan Du; Izhak Shafran; Karthik Narasimhan; Yuan Cao

Makalah · arXiv 2210.03629

ReAct: Menyinergikan Penalaran dan Tindakan dalam Model Bahasa

ReAct: Synergizing Reasoning and Acting in Language Models

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao

Terbit 2022-10-06cs.CLcs.AIcs.LG arXiv PDF

Baca dengan terjemahan dan AI

Ringkasan tiga baris

🎯 LLM yang hanya menjalankan chain-of-thought bernalar secara terisolasi dan berhalusinasi, sementara agen yang hanya bertindak kekurangan memori kerja dan perencanaan strategis.
🔧 Memperluas ruang tindakan agen dengan pemikiran bahasa bebas yang diselingi tindakan fisik/API untuk merencanakan, melacak, dan bertindak secara dinamis.
📈 ReAct mencapai tingkat keberhasilan 71% pada ALFWorld dan 40,0% pada WebShop, mengungguli metode dasar imitasi/RL sekaligus secara drastis memangkas halusinasi pada QA.

Abstrak

Meskipun model bahasa besar (LLM) telah menunjukkan kemampuan yang mengesankan di berbagai tugas pemahaman bahasa dan pengambilan keputusan interaktif, kemampuan mereka untuk bernalar (misalnya prompt chain-of-thought) dan bertindak (misalnya pembuatan rencana tindakan) utamanya masih dipelajari sebagai topik yang terpisah. Dalam makalah ini, kami mengeksplorasi penggunaan LLM untuk menghasilkan jejak penalaran sekaligus tindakan spesifik-tugas secara berseling (interleaved), memungkinkan sinergi yang lebih besar di antara keduanya: jejak penalaran membantu model menginduksi, melacak, dan memperbarui rencana tindakan serta menangani pengecualian, sementara tindakan memungkinkannya berinteraksi dengan sumber eksternal, seperti basis pengetahuan atau lingkungan, untuk mengumpulkan informasi tambahan. Kami menerapkan pendekatan kami, yang dinamai ReAct, ke serangkaian tugas bahasa dan pengambilan keputusan yang beragam serta mendemonstrasikan efektivitasnya dibandingkan metode dasar mutakhir (state-of-the-art), serta peningkatan keterpahaman bagi manusia dan kepercayaan dibandingkan metode tanpa komponen penalaran atau tindakan. Secara konkret, pada tugas tanya-jawab (HotpotQA) dan verifikasi fakta (Fever), ReAct mengatasi masalah halusinasi dan perambatan galat yang lazim terjadi pada penalaran chain-of-thought melalui interaksi dengan API Wikipedia sederhana, serta menghasilkan lintasan penyelesaian tugas mirip manusia yang lebih mudah diinterpretasikan dibandingkan metode dasar tanpa jejak penalaran. Pada dua tolak ukur pengambilan keputusan interaktif (ALFWorld dan WebShop), ReAct mengungguli metode pembelajaran imitasi dan penguatan dengan peningkatan tingkat keberhasilan absolut masing-masing sebesar 34% dan 10%, meski hanya diprompting dengan satu atau dua contoh dalam konteks (in-context). Situs proyek beserta kode: https://react-lm.github.io

Abstrak asli (bahasa Inggris)

While large language models (LLMs) have demonstrated impressive capabilities across tasks in language understanding and interactive decision making, their abilities for reasoning (e.g. chain-of-thought prompting) and acting (e.g. action plan generation) have primarily been studied as separate topics. In this paper, we explore the use of LLMs to generate both reasoning traces and task-specific actions in an interleaved manner, allowing for greater synergy between the two: reasoning traces help the model induce, track, and update action plans as well as handle exceptions, while actions allow it to interface with external sources, such as knowledge bases or environments, to gather additional information. We apply our approach, named ReAct, to a diverse set of language and decision making tasks and demonstrate its effectiveness over state-of-the-art baselines, as well as improved human interpretability and trustworthiness over methods without reasoning or acting components. Concretely, on question answering (HotpotQA) and fact verification (Fever), ReAct overcomes issues of hallucination and error propagation prevalent in chain-of-thought reasoning by interacting with a simple Wikipedia API, and generates human-like task-solving trajectories that are more interpretable than baselines without reasoning traces. On two interactive decision making benchmarks (ALFWorld and WebShop), ReAct outperforms imitation and reinforcement learning methods by an absolute success rate of 34% and 10% respectively, while being prompted with only one or two in-context examples. Project site with code: https://react-lm.github.io

Panduan membaca

Masalah dan motivasi

Model bahasa besar (LLM) sangat unggul dalam bernalar melalui Chain-of-Thought (CoT) dan dalam pengambilan keputusan dengan menghasilkan perintah yang dapat ditindaklanjuti. Namun, kedua kemampuan ini biasanya dipelajari secara terpisah:

Penalaran CoT bersifat tidak berpijak pada realitas (ungrounded): model hanya mengandalkan representasi internal yang beku, membuatnya rentan terhadap halusinasi faktual, kekurangan pengetahuan terkini, dan perambatan galat yang makin menumpuk.
Sistem yang hanya bertindak (action-only) memetakan konteks langsung ke tindakan lingkungan: sistem tersebut tidak memiliki memori kerja eksplisit untuk merumuskan tujuan abstrak, mempertahankan sub-tujuan perantara, atau menangani perubahan status yang tidak terduga.

Terinspirasi oleh percakapan batin (inner speech) manusia, makalah ini menyelidiki apakah menyelingi langkah-langkah penalaran dengan interaksi lingkungan dapat menciptakan loop yang saling memperkuat: penalaran memandu tindakan, sementara umpan balik tindakan membumikan penalaran.

Gagasan utama

Augmentasi Ruang Tindakan: Ruang tindakan agen diperluas untuk mencakup pemikiran bahasa yang tidak menghasilkan observasi eksternal melainkan memperbarui konteks internal.
Rezim Pemikiran Padat vs. Jarang: Bergantung pada tugasnya, pemikiran dapat terangkai erat (bergantian langkah demi langkah untuk multi-hop QA) atau asinkron dan jarang (hanya digunakan saat merencanakan atau menangani kejutan dalam permainan berhorizon panjang).
Penalaran Hibrida: Menggabungkan pengetahuan parametrik internal (melalui konsistensi-diri CoT) dengan umpan balik eksternal yang diambil (melalui ReAct) menyeimbangkan ketepatan faktual dengan kelincahan penalaran.

Metode (beserta persamaan utama)

Pertimbangkan lingkungan interaktif di mana pada waktu $t$ , agen menerima observasi $o_{t} \in O$ , mempertahankan konteks lintasan $c_{t} = (o_{1}, a_{1}, \dots, o_{t - 1}, a_{t - 1}, o_{t})$ , dan bertindak sesuai dengan kebijakan $π (a_{t} ∣ c_{t})$ .

ReAct memperluas ruang tindakan menjadi: $\hat{A} = A \cup L$ di mana $L$ adalah ruang ekspresi bahasa bentuk bebas.

Jika agen menghasilkan tindakan lingkungan $\overset{a}{^}_{t} \in A$ , lingkungan mengembalikan observasi $o_{t} \in O$ , membentuk konteks berikutnya $c_{t + 1} = (c_{t}, \overset{a}{^}_{t}, o_{t})$ .
Jika agen menghasilkan suatu pemikiran $\overset{a}{^}_{t} \in L$ , tidak ada observasi eksternal yang dihasilkan; pemikiran tersebut langsung ditambahkan ke konteks agen: $c_{t + 1} = (c_{t}, \overset{a}{^}_{t})$ .

Untuk tugas pengetahuan (HotpotQA, FEVER), set tindakan API adalah $A = {Search [entity], Lookup [string], Finish [answer]}$ . Untuk konfigurasi hibrida:

$ReAct \to CoT-SC$ : Jika ReAct tidak selesai dalam langkah tetap (misalnya, 7 untuk HotpotQA, 5 untuk FEVER), beralihlah ke pemungutan suara mayoritas dari konsistensi-diri CoT.
$CoT-SC \to ReAct$ : Jika kesepakatan mayoritas di antara $n$ sampel turun di bawah $n /2$ , beralihlah ke ReAct.

Hasil (beserta angka-angka terpenting)

Penalaran Pengetahuan (PaLM-540B):
- Pada HotpotQA, menggabungkan kedua rezim ( $ReAct \to CoT-SC$ ) mencapai Exact Match (EM) 35,1% dibandingkan dengan Standard (28,7%), CoT (29,4%), dan Act (25,7%).
- Pada FEVER, $CoT-SC \to ReAct$ mencapai Akurasi 64,6% vs. Standard (57,1%) dan CoT (56,3%).
- Analisis galat menunjukkan ReAct berhalusinasi dalam 0% dari kasus kegagalannya di HotpotQA, sedangkan halusinasi menyumbang 56% dari kegagalan CoT.
Pengambilan Keputusan (ALFWorld & WebShop):
- Pada ALFWorld, ReAct terbaik-dari-6 (best-of-6) mencapai tingkat keberhasilan rata-rata 71% (dan rata-rata di seluruh prompt sebesar 57%), mengungguli Act-only (terbaik 45%), prompting bergaya Inner Monologue (terbaik 53%), dan agen pembelajaran imitasi BUTLER (terbaik 37%) yang dilatih pada $1 0^{5}$ lintasan.
- Pada WebShop, ReAct 1-shot mencapai tingkat keberhasilan 40,0% dan skor rata-rata 66,6, mengalahkan baseline pembelajaran imitasi + penguatan (keberhasilan 28,7%, skor 62,4) yang dilatih pada lebih dari 10.000 instruksi.
Penalaan Halus (Finetuning): Mem-bootstrap PaLM-8B dan PaLM-62B dengan 3.000 lintasan benar yang dihasilkan sendiri menjadikan ReAct berkinerja terbaik, dengan ReAct hasil finetuning PaLM-8B mengungguli semua metode prompting pada model 62B.

Keterbatasan dan pertanyaan terbuka

Batas In-Context Prompting: Karena kendala jendela konteks, LLM hanya dapat mengamati segelintir demonstrasi (1–6 contoh), sehingga sulit untuk menguasai ruang tindakan yang sangat besar murni dari prompt.
Kegagalan Pencarian & Perulangan (Loops): Di bawah decoding serakah (greedy decoding), hasil pencarian yang tidak informatif menyebabkan ReAct gagal dalam 23% kasus galat, terkadang menjebak model dalam loop berulang.
Keamanan & Eksekusi Alat: Memberikan tindakan eksternal kepada LLM di lingkungan terbuka menimbulkan risiko tindakan yang tidak diinginkan (misalnya, mengeksekusi transaksi web yang tidak diharapkan atau mengambil data sensitif).

Istilah kunci

ReAct: Paradigma berbasis prompt yang menginstruksikan model bahasa besar untuk menghasilkan jejak penalaran dan tindakan spesifik-domain secara berseling guna menyelesaikan tugas umum.
Chain-of-Thought (CoT): Pendekatan prompting di mana model mengeluarkan langkah-langkah penalaran internal sebelum menghasilkan jawaban akhir, tanpa mengambil tindakan di lingkungan eksternal.
Action Space Augmentation: Perluasan formal dari himpunan tindakan diskret agen untuk menyertakan ungkapan bahasa alami arbitrer, yang ditetapkan sebagai pemikiran yang tidak mengubah lingkungan.
Inner Monologue (IM): Metode dasar dan pendekatan terdahulu di mana pemikiran model bahasa dibatasi terutama pada umpan balik lingkungan eksternal, bukan pada perencanaan strategis internal yang fleksibel.
CoT-SC: Prompting chain-of-thought yang dipadukan dengan konsistensi-diri (self-consistency), di mana jawaban disampel beberapa kali dengan suhu non-nol dan dipilih melalui pemungutan suara mayoritas.
ALFWorld: Lingkungan interaktif berbasis teks berdasarkan tolok ukur ALFRED yang menguji dekomposisi tujuan rumah tangga multilangkah, navigasi, dan manipulasi objek.
WebShop: Tolok ukur navigasi web realistis yang menampilkan 1,18 juta produk nyata hasil perayapan Amazon yang dievaluasi berdasarkan kemampuan agen untuk menjelajah dan membeli barang yang memenuhi instruksi teks.
Self-Reflection / Thought Editing: Intervensi manusia (human-in-the-loop) di mana operator mengoreksi atau memandu lintasan model dengan menyesuaikan pemikiran bahasa yang dihasilkan secara manual alih-alih memodifikasi bobot atau riwayat tindakan.

Pertanyaan

Mengapa ReAct lebih jarang berhalusinasi dibandingkan Chain-of-Thought standar?

CoT murni bergantung pada memori parametrik internal, yang kerap mengarang fakta yang tidak ada. ReAct memeriksa sumber eksternal (seperti API Wikipedia) melalui tindakan nyata, menambatkan pemikiran berikutnya langsung pada observasi yang diambil.

Apa perbedaan ReAct dengan WebGPT atau SayCan?

WebGPT dan SayCan berfokus pada prediksi tindakan atau rencana menggunakan umpan balik manusia atau model keterjangkauan (affordance), tanpa secara eksplisit memprompt model untuk mempertahankan, mendekomposisi, dan menyesuaikan jejak penalaran verbalnya sendiri dalam loop yang saling berseling.

Apa yang terjadi ketika pencarian tidak membuahkan hasil yang berguna dalam ReAct?

Kegagalan pencarian mencakup sekitar 23% dari kasus kegagalan ReAct pada HotpotQA; model terkadang kesulitan memformulasi ulang kueri dan terjebak dalam loop tindakan yang berulang di bawah decoding serakah (greedy decoding).

Bagaimana cara kerja penyuntingan pemikiran dengan campur tangan manusia (human-in-the-loop) dalam ReAct?

Karena jejak penalaran ditulis dalam bahasa alami sederhana, manusia dapat memeriksa lintasan yang gagal dan mengedit satu atau dua pemikiran perantara secara langsung, seketika mengarahkan agen keluar dari loop atau keyakinan yang salah tanpa penalaan halus parameter.

Ulasan di halaman ini ditulis oleh AI dari makalah dan mungkin mengandung kesalahan. Baca makalahnya untuk detail.

Baca dengan terjemahan dan AI