Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Hướng dẫn đọc

Vấn đề và động lực

Prompting few-shot tiêu chuẩn cung cấp cho mô hình ngôn ngữ các ví dụ mẫu đầu vào–đầu ra, giúp đạt hiệu năng cao trên nhiều tác vụ hỏi đáp trực tiếp. Tuy nhiên, trên các tác vụ suy luận đa bước—chẳng hạn như toán số học cấp tiểu học, câu hỏi commonsense nhiều bước (multi-hop) và thao tác ký hiệu—việc chỉ tăng kích thước mô hình theo phương thức prompting tiêu chuẩn thường dẫn đến các đường cong scaling đi ngang và hiệu năng kém. Các phương pháp trước đây cố gắng giải quyết bài toán đa bước đều dựa vào việc huấn luyện/fine-tune các mô hình diễn giải chuyên biệt (đòi hỏi lượng lớn dữ liệu suy luận có giám sát đắt đỏ) hoặc các biểu diễn neuro-symbolic hình thức. Bài báo nghiên cứu xem liệu các mô hình ngôn ngữ đa năng có thể thực hiện suy luận đa bước hoàn toàn trong ngữ cảnh (in-context) mà không cần bất kỳ cập nhật tham số nào hay không.

Các ý tưởng cốt lõi

• Phân rã chuỗi suy nghĩ (Chain-of-Thought Decomposition): Con người phân rã các vấn đề phức tạp thành các bước suy luận tuần tự trước khi đưa ra câu trả lời. Mô hình ngôn ngữ có thể bắt chước hành vi này khi được định hướng bởi các ví dụ in-context có cấu trúc bộ ba: $⟨\text{input},\text{chain of thought},\text{output}⟩$.
• Sự trỗi dậy theo quy mô (Emergence at Scale): Chain-of-thought (CoT) prompting không mang lại cải tiến đáng kể—và thường làm giảm hiệu năng—đối với các mô hình nhỏ ($<10\text{B}$ tham số). Khả năng này chỉ thực sự trỗi dậy và đạt hiệu quả ở các mô hình có khoảng $\sim 100\text{B}$ tham số trở lên.
• Lượng tính toán trung gian biến thiên (Variable Intermediate Computation): Việc tạo ra các token ngôn ngữ tự nhiên cho phép mô hình phân bổ động thêm lượng tính toán (thông qua quá trình sinh token tự hồi quy) cho các bài toán đa bước khó hơn, điều mà việc dự đoán câu trả lời trực tiếp không thể làm được.

Phương pháp (kèm các phương trình chính)

Phương pháp này điều chỉnh lại khuôn khổ few-shot prompting. Thay vì prompt bằng các cặp đầu vào–đầu ra $(x_i,y_i)$: $${\mathcal{P}}_{\text{standard}}=\{(x_1,y_1),(x_2,y_2),\dots ,(x_k,y_k)\}$$ trong đó mô hình tính toán trực tiếp $P(y\mid x,{\mathcal{P}}_{\text{standard}})$, chain-of-thought prompting chèn một chuỗi suy luận bằng ngôn ngữ tự nhiên $c_i=(c_{i,1},c_{i,2},\dots ,c_{i,m})$ vào trước câu trả lời cuối cùng: $${\mathcal{P}}_{\text{CoT}}=\{(x_1,c_1,y_1),(x_2,c_2,y_2),\dots ,(x_k,c_k,y_k)\}$$ Tại thời điểm suy luận cho một đầu vào kiểm thử $x$, mô hình tự hồi quy sinh ra cả chuỗi suy luận và câu trả lời: $$P(c,y\mid x,{\mathcal{P}}_{\text{CoT}})=\prod _{t=1}^{|c|}P(c_t\mid x,{\mathcal{P}}_{\text{CoT}},c_{<t})\prod _{j=1}^{|y|}P(y_j\mid x,{\mathcal{P}}_{\text{CoT}},c,y_{<j})$$ Đối với các benchmark số học, các tác giả cũng đánh giá một phần mở rộng hậu xử lý bằng máy tính ngoài (external calculator): các phương trình toán học được sinh ra bên trong $c$ sẽ được tính toán bằng hàm eval của Python, sau đó truyền kết quả tiếp tục qua khớp chuỗi nhằm ngăn ngừa các lỗi sai tính toán số học.

Kết quả (với các số liệu quan trọng nhất)

• Suy luận số học (GSM8K): Trên GSM8K, prompting tiêu chuẩn trên PaLM 540B đạt 17,9%, trong khi 8-shot CoT prompting đạt 56,9% (và 58,6% với máy tính ngoài), vượt qua kết quả có giám sát tốt nhất trước đó là 55% từ GPT-3 175B được fine-tune kèm verifier. Codex đạt 63,1% (65,4% với máy tính ngoài).
• Các benchmark toán học khác: PaLM 540B đạt 79,0% trên SVAMP (so với 69,4% ở tiêu chuẩn), 73,9% trên ASDiv (so với 72,1% ở tiêu chuẩn), 35,8% trên AQuA (so với 25,2% ở tiêu chuẩn) và 93,3% trên MAWPS (so với 79,2% ở tiêu chuẩn).
• Suy luận commonsense: PaLM 540B CoT thiết lập state-of-the-art mới trên StrategyQA với 75,6% (so với 68,6% tiêu chuẩn và 69,4% tốt nhất trước đó có giám sát) và vượt qua những người đam mê thể thao trên Sports Understanding (95,4% so với 84,0%).
• Thao tác ký hiệu & Khả năng tổng quát hóa độ dài: Với tác vụ nối chữ cái cuối (last-letter concatenation), PaLM 540B tăng từ 7,6% (tiêu chuẩn) lên 99,4% (CoT) trong miền (in-domain, 2 từ). Khi kiểm thử ngoài miền (out-of-domain) trên 4 từ, prompting tiêu chuẩn giảm xuống 0,0%, trong khi CoT vẫn duy trì độ chính xác 63,0%.
• Thử nghiệm phân rã (Ablations): Các phân rã trên LaMDA 137B xác nhận rằng prompting "chỉ phương trình" (5,4% trên GSM8K), "chỉ tính toán biến thiên" qua dấu chấm (6,4%), và "suy luận sau câu trả lời" (6,1%) đều không thể sánh được với CoT prompting chuẩn (14,3%), chứng minh rằng các bước ngôn ngữ tự nhiên trung gian đặt trước câu trả lời là tối quan trọng.

Hạn chế và các câu hỏi mở

• Không đảm bảo suy luận đúng sự thật: Các chuỗi được sinh ra có thể không trung thực (unfaithful), lỗi ngữ nghĩa hoặc bị ảo giác (hallucinated), đôi khi đi đến câu trả lời đúng chỉ do ngẫu nhiên trùng hợp (đặc biệt trong các định dạng nhị phân hoặc trắc nghiệm).
• Ràng buộc về quy mô mô hình: Kỹ thuật này tốn kém chi phí để phục vụ trong môi trường production vì nó đòi hỏi các mô hình có quy mô từ $\sim 100\text{B}+$ tham số trở lên mới hoạt động đáng tin cậy.
• Câu hỏi mở về khả năng suy luận thực sự: Bài báo lưu ý rằng việc bắt chước các lập luận của con người không chứng minh được rằng các biểu diễn mạng nơ-ron bên dưới thực sự thực thi suy luận hình thức.