Harness^2: Khai thác tác tử đệ quy cho thế giới mở

Hướng dẫn đọc

Vấn đề và động lực

Hiệu năng của một tác tử LLM phụ thuộc rất lớn vào harness thực thi của nó—phần khung runtime bao gồm prompt, công cụ, bộ nhớ, tác tử phụ và plugin bao quanh một mô hình cơ sở cố định. Trong các bối cảnh thế giới mở biến động, các tác tử liên tục gặp phải các quy trình làm việc phức tạp, chưa từng thấy trước đây. Các kỹ thuật tự cải tiến đệ quy (RSI) hiện tại dành cho harness gặp khó khăn do hai thách thức chính:

1. Thiếu vắng các bộ kiểm chứng ground-truth: Các tác vụ triển khai trực tuyến không cung cấp câu trả lời ground-truth hoặc các hàm chấm điểm đáng tin cậy tại thời điểm kiểm thử để đánh giá xem việc chỉnh sửa harness trực tuyến có giúp ích hay làm giảm hiệu năng.
2. Thiếu khả năng chuyển giao giữa các tác vụ: Các sửa đổi harness trực tiếp thường mang tính đặc thù cho từng tác vụ; việc mang một harness thực thi sang các phân phối tác vụ thay đổi một cách máy móc sẽ gây ra sự mất ổn định và suy giảm hiệu năng.

Ý tưởng cốt lõi

Harness^2 kết hợp hai cấp độ đệ quy riêng biệt:

• Đệ quy cấp tác vụ (Task-Level Recursion): Tinh chỉnh harness thực thi cho tác vụ đang hoạt động mà không cần bộ kiểm chứng ground-truth thông qua chu trình đối nghịch Đề xuất–Thăm dò–Tổng hợp (Propose–Probe–Compose). Nó xây dựng các đề xuất bất biến (quy trình vận hành của tác tử) và các đề xuất đặc thù miền (quy tắc miền của chuyên gia), thăm dò cả hai trong các điều kiện tương đương, và tổng hợp các cải tiến hành vi đã được xác minh.
• Đệ quy cấp độ harness (Harnessing-Level Recursion): Trích xuất các bài học quy trình có thể tái sử dụng và các thành phần đã được áp dụng từ quá trình tinh chỉnh tại thời điểm kiểm thử vào một thư viện cải tiến harness bền vững, nâng cao meta-khả năng của bộ cải tiến trên các tác vụ tiếp theo.
• Mở rộng quy mô linh hoạt (Pluggable Scaling): Hỗ trợ mở rộng chiều rộng khám phá thông qua đệ quy song song ($k$ nhóm ứng viên được tổng hợp đồng thời) hoặc chiều sâu thông qua đệ quy tuần tự ($k$ vòng lặp nối tiếp).

Phương pháp

Một tác tử được phân rã thành một mô hình cố định $\mathcal{M}$ và một harness có thể chỉnh sửa $\mathcal{H}=(c^1,\dots ,c^K)$ trên $K=8$ thành phần cấp độ tệp (system prompt, guardrail, bộ nhớ, kỹ năng, hướng dẫn công cụ, script, tác tử phụ, middleware plugin).

Đệ quy cấp tác vụ

Đối với một tác vụ $q_t$, lịch sử thực thi $\mathcal{E}$ và harness cải tiến cố định ${\mathcal{R}}_t$, một bước đối nghịch $\Phi$ sẽ tạo ra một harness được cập nhật ${\mathcal{H}}^{\prime }$, bản ghi thực thi $e^{\prime }$ và bản ghi bước $\xi$: $$({\mathcal{H}}^{\prime },e^{\prime },\xi )=\Phi (q_t,\mathcal{H},\mathcal{E};{\mathcal{R}}_t)$$

1. Đề xuất (Propose): Lấy mẫu một lượt thực thi tham chiếu $e^0\sim \mathcal{A}(q_t;\mathcal{M},\mathcal{H})$. Dựa trên điều kiện của $e^0$ và ${\mathcal{R}}_t$, nó tạo ra một ứng viên bất biến (quy trình/luồng công cụ) và một ứng viên đặc thù miền (ràng buộc chuyên môn).
2. Thăm dò (Probe): Thực thi các ứng viên trên $q_t$ để quan sát các tương phản về hành vi so với lượt thực thi tham chiếu.
3. Tổng hợp (Compose): Hợp nhất có chọn lọc các chỉnh sửa đã được kiểm chứng, không gây xung đột từ nhóm ứng viên.

Trong Đệ quy song song (Parallel Recursion), $k$ ứng viên bất biến và ứng viên miền được lấy mẫu, và $k$ phiên tổng hợp độc lập mang lại các trạng thái kế thừa: $${\mathcal{H}}_j^{\prime }=\text{textsc}{Compose}_j(q_t,\mathcal{H},\mathcal{B},\mathcal{P};{\mathcal{R}}_t),j=1,\dots ,k$$ Trong Đệ quy tuần tự (Sequential Recursion), $k$ bước tinh chỉnh được liên kết tuần tự: $$({\mathcal{H}}^{(r)},e^{(r)},{\xi }^{(r)})=\Phi (q_t,{\mathcal{H}}^{(r-1)},{\mathcal{E}}^{(r-1)};{\mathcal{R}}_t),r=1,\dots ,k$$

Đệ quy cấp độ harness

Sau khi hoàn thành tác vụ và lựa chọn artifact, quy trình cải tiến sẽ xem xét toàn bộ bản ghi cải tiến ${\mathcal{D}}_t$ để cập nhật thư viện harness cải tiến: $${\mathcal{R}}_{t+1}=\text{textsc}Update({\mathcal{R}}_t,{\mathcal{H}}_t^{\star },{\mathcal{D}}_t)$$ Các bài học được điều kiện hóa rõ ràng trên các tương phản quỹ đạo cụ thể, tránh việc gán thuộc tính sai lệch.

Kết quả

Được đánh giá trên WorkBuddy-Bench (WB), JobBench, và Legal Agent Benchmark (LAB) sử dụng Gemini 3.5 Flash và GLM-5 dưới OpenCode và Codex:

• Mức tăng một bước ($k=1$): Đạt mức cải thiện lên tới $+11,5$ điểm trên WB Trung bình (GLM-5 trên OpenCode: $64,2\to 75,7$), $+4,5$ điểm trên JobBench (Gemini trên OpenCode: $31,5\to 36,0$), và $+11,8$ điểm phần trăm ở tỷ lệ vượt qua từng phần của LAB (GLM-5 trên OpenCode: $59,6\%\to 71,4\%$).
• Mở rộng theo ngân sách: Việc bổ sung đệ quy song song ở mức $k=5$ mang lại mức tăng bổ sung từ $+2,9$ đến $+3,9$ điểm trên WB, $+3,0$ đến $+4,2$ điểm trên JobBench, và $+2,6$ đến $+6,7$ điểm phần trăm trên LAB.
• Bộ cải tiến cùng mô hình (Same-Model improver): Chứng minh rằng các cải tiến không phụ thuộc vào một mô hình bên ngoài vượt trội hơn; khi cùng một mô hình vừa đóng vai trò thực thi vừa đóng vai trò chỉnh sửa harness (được kiểm thử từ GLM-5 cho đến Claude Opus 5), sự cải thiện hiệu năng nhất quán đều xuất hiện trên tất cả các bộ benchmark.
• Ablation thành phần: Việc loại bỏ thư viện, phân định vai trò phạm vi và quá trình tổng hợp lần lượt làm giảm hiệu năng WB đi $3,1$, $2,9$ và $1,6$ điểm.

Hạn chế và các câu hỏi mở

• Chi phí tính toán suy luận: Việc đề xuất, thăm dò và tổng hợp nhiều harness phát sinh thêm đáng kể chi phí token và chi phí rollout.
• Tính ngẫu nhiên và thiên vị gán thuộc tính: Khi không có bộ kiểm chứng ground-truth, việc dựa vào các tương phản hành vi đôi khi vẫn có thể dẫn đến việc gán công trạng bị nhiễu hoặc đưa ra các chỉnh sửa quá thận trọng/hạn chế khi phương sai thực thi cao.
• Sự phát triển và cắt tỉa thư viện: Thư viện lưu giữ các thành phần theo trình tự; các cơ chế để cắt tỉa các bài học lỗi thời hoặc chủ động hợp nhất các kỹ năng xung đột trong các khoảng thời gian tác vụ rất dài vẫn là một hướng nghiên cứu mở.