論文 · arXiv 2610.14224
Harness^2：開放世界下的遞迴式代理架構調適
Harness^2: Recursive Agent Harnessing for an Open World
三句話總結
- 🎯 在開放世界代理部署中，新任務缺乏基準真值驗證器，且針對特定任務的架構修改無法遷移至未來任務。
- 🔧 Harness2 引入了兩個耦合的遞迴層級：採用對比式 Propose–Probe–Compose 步驟的任務層級遞迴，以及跨任務更新持續改進資料庫的架構層級遞迴。
- 📈 單一步驟即可在 WorkBuddy-Bench 上帶來最高 11.5 分、在 JobBench 上最高 4.5 分、在 LAB 上最高 11.8 個百分點的增益，並可透過平行或循序遞迴取得額外提升。
摘要
大型語言模型（LLM）代理的能力不僅取決於其底層模型，還取決於其執行架構（execution harnesses）。遞迴式自我改進（RSI）為自動演化這些架構提供了一種前景廣闊的方法。然而，在開放世界環境中部署 RSI 仍面臨兩項重大挑戰：首先，開放世界任務在架構設計階段通常是未知的，且在測試時也是新穎的，缺乏基準真值驗證器（ground-truth verifiers）來可靠地引導線上架構修改；其次，RSI 過程高度受限於特定任務，無法泛化至新場景。我們提出了 Harness^2，這是一個隨插即用的遞迴式代理架構調適框架，透過兩個相連的遞迴層級來解決這些挑戰。任務層級遞迴利用對比式的「提案-探測-組合」（Propose-Probe-Compose）步驟來微調當前任務的架構，在沒有基準真值驗證器的情況下可靠地引導修改，並可透過平行或循序遞迴進一步擴展。架構層級遞迴則從這些修改中提煉經驗以更新持續改進架構，使代理能更好地適應未來任務。在三個專業基準測試與四種模型架構配置中，單一步驟便使 GLM-5 與 Gemini 3.5 Flash 在其基礎架構上持續獲得提升，在 WorkBuddy-Bench 上最高提升 11.5 分、在 JobBench 上最高提升 4.5 分、在 LAB 上最高提升 11.8 個百分點，且隨著任務層級遞迴預算的增加還能取得進一步的增益。
英文原文摘要
LLM agents' capabilities depend not only on their underlying models but also on their execution harnesses. Recursive self-improvement (RSI) offers a promising approach to automatically evolve these harnesses. However, deploying RSI in open-world settings still faces two critical challenges. First, open-world tasks are typically unseen during the harness design phase and novel at test time, leaving no ground-truth verifiers to reliably guide online harness edits. Second, the RSI process remains highly task-specific and fails to generalize to novel scenarios. We introduce Harness^2, a plug-and-play, recursive agent harnessing framework that addresses these challenges through two connected levels of recursion. Task-level recursion refines the current task's harness using a contrastive Propose-Probe-Compose step that reliably guides edits without ground-truth verifiers, and can be scaled further via parallel or sequential recursion. Harnessing-level recursion then extracts experience from these edits to update a continual improvement harness, enabling the agent to better adapt to future tasks. Across three professional benchmarks and four model-harness configurations, a single step consistently improves GLM-5 and Gemini 3.5 Flash over their base harnesses, yielding gains of up to 11.5 points on WorkBuddy-Bench, 4.5 points on JobBench, and 11.8 percentage points on LAB, with further gains as the task-level recursion budget increases.
論文解讀
問題與動機
LLM 代理的效能高度仰賴其執行架構（execution harness）——即圍繞在凍結基礎模型周圍的提示詞、工具、記憶體、技能、工具指引、腳本、子代理與中介軟體外掛等執行期鷹架。在動態的開放世界環境中，代理會不斷遇到未曾見過的複雜工作流程。現有的架構遞迴式自我改進（RSI）技術面臨兩大核心挑戰：
- 缺乏基準真值驗證器：線上部署任務不提供標準答案或可靠的測試期評分函數，無法評估線上架構修改究竟是有助還是有害於效能。
- 缺乏跨任務遷移能力：直接修改架構通常是特定於任務的；在任務分佈變動的情況下盲目沿用原有的執行架構會導致不穩定性與效能退步。
核心概念
Harness^2 結合了兩個不同的遞迴層級：
- 任務層級遞迴（Task-Level Recursion）：透過對比式的 Propose–Probe–Compose（提案–探測–組合）循環，在無需基準真值驗證器的情況下微調當前任務的執行架構。它建構不變提案（代理操作工作流程）與領域特定提案（從業人員領域規則），在對等條件下探測兩者，並組合經過驗證的行為改進。
- 架構層級遞迴（Harnessing-Level Recursion）：將測試期微調過程中的可重複使用程序經驗與採納的組件提煉至持久化的架構改進資料庫（harness improvement library），以提升改進器在後續任務上的元能力（meta-capability）。
- 可擴充架構：支援透過平行遞迴（同時組合 個候選池）擴展探索寬度，或透過循序遞迴（串聯 次反覆運算）擴展探索深度。
方法
代理被分解為一個凍結模型 與一個可編輯的架構 ，涵蓋 個檔案層級組件（系統提示詞、防護措施、記憶體、技能、工具指引、腳本、子代理、中介軟體外掛）。
任務層級遞迴
針對任務 、執行歷史 與固定的改進架構 ，對比步驟 產生更新後的架構 、執行記錄 與步驟記錄 ：
- Propose（提案）：抽樣一個參考執行 。以此 與 為條件，生成一個不變候選項（程序/工具流程）與一個領域特定候選項（從業人員限制）。
- Probe（探測）：在 上執行候選項，以觀察相對於參考執行的行為對比。
- Compose（組合）：從候選池中選擇性合併經過驗證且不衝突的修改。
在**平行遞迴（Parallel Recursion）中，抽樣 個不變與領域候選項，並由 個獨立組合階段產生後繼架構： 在循序遞迴（Sequential Recursion）**中，鏈式串聯 個微調步驟：
架構層級遞迴
在任務完成並選定產出物後，改進流程會回顧完整的改進記錄 以更新改進架構庫： 經驗教訓均明確基於具體的軌跡對比，避免出現虛假的因果歸因。
結果
在 WorkBuddy-Bench (WB)、JobBench 與 Legal Agent Benchmark (LAB) 上，針對搭配 OpenCode 與 Codex 的 Gemini 3.5 Flash 及 GLM-5 進行評估：
- 單步 () 增益：在 WB 平均上帶來最高 分的提升（GLM-5 於 OpenCode：）、在 JobBench 上提升最高 分（Gemini 於 OpenCode：），並在 LAB 部分通過率上提升 個百分點（GLM-5 於 OpenCode：）。
- 預算擴展性：加入 的平行遞迴可在 WB 上帶來額外 至 分、在 JobBench 上帶來 至 分，以及在 LAB 上帶來 至 個百分點的增益。
- 同模型改進器：證明增益並不依賴外部更強大的模型；當同一個模型同時作為執行器與架構編輯器時（測試範圍從 GLM-5 到 Claude Opus 5），在所有基準測試中均取得了一致的效能提升。
- 組件消融實驗：移除資料庫、作用域角色劃分與組合機制，分別會使 WB 效能降低 、 與 分。
局限性與待解決問題
- 推論運算開銷：提案、探測與組合多個架構會產生大量的額外 token 與 rollout 成本。
- 隨機性與歸因偏差：在缺乏基準真值驗證器的情況下，依賴行為對比仍可能在執行變異較大時導致帶有雜訊的貢獻歸因，或產生過於保守/限制性的修改。
- 資料庫成長與剪枝：資料庫以循序方式保留組件；在極長期的任務週期下，如何修剪過時的經驗教訓或主動整合互相衝突的技能仍是開放的研究課題。
關鍵術語
- harness (執行架構)
- 圍繞在凍結基礎 LLM 周圍以使其作為代理運作的執行期鷹架，包括系統提示詞、防護措施、記憶體、技能、工具指引、腳本、子代理與中介軟體外掛。
- recursive agent harnessing (遞迴式代理架構調適)
- 一種雙循環遞迴自我改進框架，其中任務層級遞迴微調當前任務的執行架構，而架構層級遞迴則跨任務更新改進機制。
- Propose–Probe–Compose (提案–探測–組合)
- 一種對比式架構改進步驟，它提出限定範圍的架構修改、針對參考執行探測其經驗行為，並在沒有基準真值標籤的情況下選擇性組合經過驗證的差異。
- parallel recursion (平行遞迴)
- 一種任務層級探索方法，同時生成並探測多個不變候選項與領域特定候選項，隨後進行多個獨立的組合階段。
- sequential recursion (循序遞迴)
- 一種反覆運算的任務層級微調策略，以累積的執行歷史為條件，連續鏈接多個對比改進步驟。
- harness improvement library (架構改進資料庫)
- 一個跨任務的持久性儲存庫，包含已採納的可執行架構與記錄的操作經驗，用以指導未來的架構修改。
- invariant candidate (不變候選項)
- 一種提議的架構變體，針對一般代理執行缺陷，如工具使用、規劃、確定性腳本或上下文管理進行改進。
- domain-specific candidate (領域特定候選項)
- 一種提議的架構變體，針對與特定操作領域相關的程序要求、領域知識、一致性檢查與交付規範進行改進。
常見問題
Harness2 如何在缺乏基準真值驗證器或任務標籤的情況下評估架構修改？
它利用在對等條件下候選項探測與未編輯參考 rollout 之間取得的行為對比。組合器不會假定正確性分數，而是檢視執行軌跡中的特定行為機制、錯誤緩解以及輸出的一致性。
Harness2 是否需要更強大的 LLM 來擔任架構編輯器？
不需要。使用完全相同的模型同時擔任執行器與架構編輯器的實驗（測試過 GLM-5、Gemini 和 Claude 各種變體）顯示，在所有受評測的基準測試中均有一致的提升，包括使用 GLM-5 在 LAB 上獲得 13.7 分的增益。
如果提議的架構修改引入了錯誤或驗證失敗，會發生什麼情況？
Harness2 會執行結構驗證（例如驗證技能觸發器與腳本語法）。若無效，它會利用驗證器回饋重試一次；如果再次失敗或引發災難性的執行期問題（如空白輸出），它會安全地回退到先前的穩定架構狀態。
在一個基準測試中累積的經驗可以遷移到另一個基準測試嗎？
可以。在跨基準測試的實驗中，將在 JobBench 上累積的改進資料庫遷移到 WorkBuddy-Bench，無需額外探測即可在程式碼 (+0.6)、網路 (+0.5) 和辦公 (+2.9) 領域提升單步微調效能。
本頁解讀由 AI 根據論文生成，可能有錯誤；細節請以原文為準。