Harness^2: Recursive Agent Harnessing for an Open World

Ruiyao Xu; Yanfei Chen; Zhongying CuiZhu; Bhavana Dalvi Mishra; Yifei Ming; Han Yu; Rujun Han; Chen-Yu Lee; Tomas Pfister

Harness^2: การควบคุมเอเจนต์แบบเรียกซ้ำสำหรับโลกความจริงแบบเปิด

Ruiyao Xu, Yanfei Chen, Zhongying CuiZhu, Bhavana Dalvi Mishra, Yifei Ming, Han Yu, Rujun Han, Chen-Yu Lee, Tomas Pfister

เผยแพร่ 2026-10-09cs.AIcs.CLcs.LG arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 ในการปรับใช้เอเจนต์ในโลกเปิด งานใหม่ๆ มักขาด ground-truth verifier และการแก้ไข harness แบบเจาะจงงานจะไม่สามารถถ่ายทอดไปยังงานในอนาคตได้
🔧 Harness2 นำเสนอการเรียกซ้ำสองระดับที่ทำงานร่วมกัน: การเรียกซ้ำระดับงานโดยใช้ขั้นตอน Propose–Probe–Compose เชิงเปรียบเทียบ และการเรียกซ้ำระดับการควบคุมที่คอยอัปเดตคลังการปรับปรุงอย่างต่อเนื่องข้ามงาน
📈 ให้ผลลัพธ์ที่ดีขึ้นในขั้นตอนเดียวสูงสุด 11.5 จุดบน WorkBuddy-Bench, 4.5 จุดบน JobBench และ 11.8 จุดเปอร์เซ็นต์บน LAB พร้อมทั้งได้ประโยชน์เพิ่มเติมผ่านการเรียกซ้ำแบบขนานหรือแบบลำดับ

บทคัดย่อ

ขีดความสามารถของ LLM agent ไม่ได้ขึ้นอยู่กับโมเดลพื้นฐานเพียงอย่างเดียว แต่ยังขึ้นอยู่กับ execution harness อีกด้วย การพัฒนาตนเองแบบเรียกซ้ำ (Recursive self-improvement หรือ RSI) เป็นแนวทางที่มีศักยภาพในการวิวัฒน์ harness เหล่านี้โดยอัตโนมัติ อย่างไรก็ตาม การปรับใช้ RSI ในสภาพแวดล้อมโลกความเป็นจริงแบบเปิด (open-world) ยังคงเผชิญความท้าทายสำคัญสองประการ ประการแรก งานในโลกเปิดมักเป็นสิ่งที่ไม่เคยพบในขั้นตอนการออกแบบ harness และเป็นงานใหม่ ณ เวลาทดสอบ ทำให้ไม่มี ground-truth verifier สำหรับชี้นำการแก้ไข harness ขณะทำงานได้อย่างน่าเชื่อถือ ประการที่สอง กระบวนการ RSI มักเจาะจงกับงานมากเกินไปและไม่สามารถขยายผลไปยังสถานการณ์ใหม่ได้ เราจึงนำเสนอ Harness^2 ซึ่งเป็นเฟรมเวิร์กควบคุมเอเจนต์แบบเรียกซ้ำที่พร้อมใช้งานทันที (plug-and-play) เพื่อจัดการกับความท้าทายเหล่านี้ผ่านการเรียกซ้ำสองระดับที่เชื่อมโยงกัน การเรียกซ้ำระดับงาน (Task-level recursion) จะปรับปรุง harness ของงานปัจจุบันโดยใช้ขั้นตอน Propose-Probe-Compose เชิงเปรียบเทียบความแตกต่าง ซึ่งช่วยชี้นำการแก้ไขได้อย่างเชื่อถือได้โดยไม่ต้องมี ground-truth verifier และสามารถขยายขนาดเพิ่มเติมผ่านการเรียกซ้ำแบบขนานหรือตามลำดับ จากนั้น การเรียกซ้ำระดับการควบคุม (Harnessing-level recursion) จะสกัดประสบการณ์จากการแก้ไขเหล่านี้เพื่ออัปเดต continual improvement harness ทำให้เอเจนต์ปรับตัวเข้ากับงานในอนาคตได้ดียิ่งขึ้น จากการทดสอบบนเกณฑ์มาตรฐานระดับมืออาชีพ 3 ชุดและการกำหนดค่าโมเดลร่วมกับ harness 4 รูปแบบ การทำงานเพียงขั้นตอนเดียวสามารถปรับปรุง GLM-5 และ Gemini 3.5 Flash ให้เหนือกว่า harness พื้นฐานได้อย่างสม่ำเสมอ โดยทำคะแนนเพิ่มขึ้นสูงสุด 11.5 จุดบน WorkBuddy-Bench, 4.5 จุดบน JobBench และ 11.8 จุดเปอร์เซ็นต์บน LAB พร้อมทั้งมีประสิทธิภาพสูงขึ้นตามงบประมาณการเรียกซ้ำระดับงานที่เพิ่มขึ้น

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

LLM agents' capabilities depend not only on their underlying models but also on their execution harnesses. Recursive self-improvement (RSI) offers a promising approach to automatically evolve these harnesses. However, deploying RSI in open-world settings still faces two critical challenges. First, open-world tasks are typically unseen during the harness design phase and novel at test time, leaving no ground-truth verifiers to reliably guide online harness edits. Second, the RSI process remains highly task-specific and fails to generalize to novel scenarios. We introduce Harness^2, a plug-and-play, recursive agent harnessing framework that addresses these challenges through two connected levels of recursion. Task-level recursion refines the current task's harness using a contrastive Propose-Probe-Compose step that reliably guides edits without ground-truth verifiers, and can be scaled further via parallel or sequential recursion. Harnessing-level recursion then extracts experience from these edits to update a continual improvement harness, enabling the agent to better adapt to future tasks. Across three professional benchmarks and four model-harness configurations, a single step consistently improves GLM-5 and Gemini 3.5 Flash over their base harnesses, yielding gains of up to 11.5 points on WorkBuddy-Bench, 4.5 points on JobBench, and 11.8 percentage points on LAB, with further gains as the task-level recursion budget increases.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

ประสิทธิภาพของ LLM agent ขึ้นอยู่กับ execution harness อย่างมาก ซึ่งก็คือโครงสร้างการทำงานขณะรันไทม์ที่ประกอบด้วยพรอมต์, เครื่องมือ, หน่วยความจำ, ทักษะย่อย, แนวทางการใช้เครื่องมือ, สคริปต์, ซับเอเจนต์ และปลั๊กอินมิดเดิลแวร์ที่ห่อหุ้มโมเดลพื้นฐานที่ถูกแช่แข็งไว้ ในสภาพแวดล้อมโลกเปิดที่มีการเปลี่ยนแปลงตลอดเวลา เอเจนต์ต้องเผชิญกับเวิร์กโฟลว์ที่ซับซ้อนและไม่เคยพบมาก่อน เทคนิคการปรับปรุงตนเองแบบเรียกซ้ำ (RSI) ที่มีอยู่ในปัจจุบันสำหรับ harness มักประสบปัญหาจากความท้าทายหลัก 2 ประการ:

การขาดแคลน ground-truth verifier: งานที่นำไปใช้งานจริงแบบออนไลน์ไม่มีคำตอบที่ถูกต้องแน่นอนหรือฟังก์ชันการให้คะแนน ณ เวลาทดสอบที่เชื่อถือได้ เพื่อประเมินว่าการแก้ไข harness ขณะทำงานนั้นช่วยเพิ่มหรือลดประสิทธิภาพ
การขาดการถ่ายทอดข้ามงาน: การปรับแต่ง harness โดยตรงมักจะเจาะจงกับงานใดงานหนึ่ง การนำ execution harness ไปใช้ต่อข้ามการกระจายของงานที่เปลี่ยนไปโดยตรงจะทำให้เกิดความไม่เสถียรและประสิทธิภาพถดถอย

แนวคิดสำคัญ

Harness^2 ผสานการเรียกซ้ำสองระดับที่แตกต่างกันเข้าด้วยกัน:

Task-Level Recursion (การเรียกซ้ำระดับงาน): ปรับปรุง execution harness สำหรับงานปัจจุบันโดยไม่ต้องใช้ ground-truth verifier ผ่านวงจร Propose–Probe–Compose เชิงเปรียบเทียบ โดยจะสร้างข้อเสนอแบบไม่แปรเปลี่ยน (invariant proposals - เวิร์กโฟลว์การทำงานของเอเจนต์) และข้อเสนอเฉพาะโดเมน (domain-specific proposals - กฎเกณฑ์เฉพาะทางของผู้เชี่ยวชาญ) จากนั้นจะทำการ probe ทั้งสองภายใต้เงื่อนไขเดียวกัน และรวม (compose) พฤติกรรมที่ได้รับการพิสูจน์แล้วว่าดีขึ้นเข้าด้วยกัน
Harnessing-Level Recursion (การเรียกซ้ำระดับการควบคุม): สกัดบทเรียนเชิงกระบวนการที่นำกลับมาใช้ใหม่ได้และส่วนประกอบที่ถูกเลือกใช้จากกระบวนการปรับปรุง ณ เวลาทดสอบ เข้าสู่ harness improvement library ที่คงอยู่ถาวร ซึ่งช่วยเพิ่มขีดความสามารถระดับเมตาของผู้ปรับปรุงสำหรับงานถัดไป
Pluggable Scaling (การขยายขนาดแบบเสียบต่อได้): รองรับการขยายความกว้างในการสำรวจผ่านการเรียกซ้ำแบบขนาน (กลุ่มผู้สมัคร $k$ กลุ่มถูกประกอบพร้อมกัน) หรือความลึกผ่านการเรียกซ้ำแบบตามลำดับ ( $k$ รอบที่เชื่อมต่อกัน)

วิธีการ

เอเจนต์ถูกแยกองค์ประกอบออกเป็นโมเดลที่ถูกแช่แข็ง $M$ และ harness ที่แก้ไขได้ $H = (c^{1}, \dots, c^{K})$ ข้ามส่วนประกอบระดับไฟล์ $K = 8$ ส่วน (system prompt, guardrails, memory, skills, tool guidance, scripts, subagents, middleware plugin)

การเรียกซ้ำระดับงาน (Task-Level Recursion)

สำหรับงาน $q_{t}$ , ประวัติการดำเนินการ $E$ และ improvement harness ที่คงที่ $R_{t}$ ขั้นตอนเชิงเปรียบเทียบ $Φ$ จะสร้าง harness ที่อัปเดตแล้ว $H^{'}$ , บันทึกการดำเนินการ $e^{'}$ และบันทึกขั้นตอน $ξ$ : $(H^{'}, e^{'}, ξ) = Φ (q_{t}, H, E; R_{t})$

Propose: สุ่มการดำเนินการอ้างอิง $e^{0} \sim A (q_{t}; M, H)$ จากนั้นสร้าง invariant candidate (ขั้นตอนกระบวนการ/การเรียกใช้เครื่องมือ) และ domain-specific candidate (ข้อจำกัดของผู้เชี่ยวชาญ) โดยขึ้นกับ $e^{0}$ และ $R_{t}$
Probe: ดำเนินการผู้สมัครบน $q_{t}$ เพื่อสังเกตความแตกต่างเชิงพฤติกรรมเมื่อเทียบกับการดำเนินการอ้างอิง
Compose: คัดเลือกและรวมการแก้ไขที่ผ่านการตรวจสอบแล้วและไม่ขัดแย้งกันจากกลุ่มผู้สมัคร

ใน Parallel Recursion (การเรียกซ้ำแบบขนาน) ผู้สมัครแบบ invariant และ domain จะถูกสุ่มขึ้นมา $k$ ชุด และเซสชันการประกอบที่เป็นอิสระต่อกัน $k$ เซสชันจะสร้างผลลัพธ์รุ่นถัดไป: $H_{j}^{'} = \textsc C o m p ose_{j} (q_{t}, H, B, P; R_{t}), j = 1, \dots, k$ ใน Sequential Recursion (การเรียกซ้ำแบบตามลำดับ) ขั้นตอนการปรับแต่ง $k$ ขั้นตอนจะถูกเชื่อมต่อกันตามลำดับ: $(H^{(r)}, e^{(r)}, ξ^{(r)}) = Φ (q_{t}, H^{(r - 1)}, E^{(r - 1)}; R_{t}), r = 1, \dots, k$

การเรียกซ้ำระดับการควบคุม (Harnessing-Level Recursion)

เมื่องานเสร็จสิ้นและคัดเลือกผลงานแล้ว กระบวนการปรับปรุงจะทบทวนบันทึกการปรับปรุงฉบับสมบูรณ์ $D_{t}$ เพื่ออัปเดตคลัง improvement harness: $R_{t + 1} = \textsc U p d a t e (R_{t}, H_{t}^{⋆}, D_{t})$ บทเรียนต่างๆ จะถูกกำหนดเงื่อนไขอย่างชัดเจนจากความแตกต่างของวิถีการทำงานที่เป็นรูปธรรม ทำให้หลีกเลี่ยงการระบุสาเหตุที่ผิดพลาดได้

ผลลัพธ์

ประเมินบน WorkBuddy-Bench (WB), JobBench และ Legal Agent Benchmark (LAB) โดยใช้ Gemini 3.5 Flash และ GLM-5 ภายใต้ OpenCode และ Codex:

การเพิ่มขึ้นในขั้นตอนเดียว ( $k = 1$ ): ให้ผลลัพธ์ที่ดีขึ้นสูงสุด $+ 11.5$ จุดบน WB เฉลี่ย (GLM-5 บน OpenCode: $64.2 \to 75.7$ ), $+ 4.5$ จุดบน JobBench (Gemini บน OpenCode: $31.5 \to 36.0$ ) และ $+ 11.8$ จุดเปอร์เซ็นต์ในอัตราการผ่านบางส่วนของ LAB (GLM-5 บน OpenCode: $59.6% \to 71.4%$ )
การขยายตามงบประมาณ (Budget Scaling): การเพิ่มการเรียกซ้ำแบบขนานที่ $k = 5$ ช่วยเพิ่มคะแนนขึ้นอีก $+ 2.9$ ถึง $+ 3.9$ จุดบน WB, $+ 3.0$ ถึง $+ 4.2$ จุดบน JobBench และ $+ 2.6$ ถึง $+ 6.7$ จุดเปอร์เซ็นต์บน LAB
ตัวปรับปรุงที่เป็นโมเดลเดียวกัน (Same-Model improver): แสดงให้เห็นว่าคะแนนที่เพิ่มขึ้นไม่ได้พึ่งพาโมเดลภายนอกที่เหนือกว่า เมื่อใช้โมเดลเดียวกันทำหน้าที่เป็นทั้งผู้ดำเนินการและตัวแก้ไข harness (ทดสอบตั้งแต่ GLM-5 จนถึง Claude Opus 5) พบว่าประสิทธิภาพเพิ่มขึ้นอย่างต่อเนื่องในทุกชุดทดสอบ
การทดลองตัดองค์ประกอบ (Component Ablations): การตัดคลังความรู้, การกำหนดบทบาทขอบเขต และการประกอบออก ทำให้ประสิทธิภาพบน WB ลดลง $3.1$ , $2.9$ และ $1.6$ จุดตามลำดับ

ข้อจำกัดและประเด็นเปิด

ภาระการคำนวณในการอนุมาน (Inference Compute Overhead): การ propose, probe และ compose หลาย harness ก่อให้เกิดต้นทุนโทเคนและการ rollout เพิ่มขึ้นอย่างมาก
ความแปรปรวนและความลำเอียงในการระบุสาเหตุ (Stochasticity and Attribution Bias): หากไม่มี ground-truth verifier การพึ่งพาความแตกต่างเชิงพฤติกรรมอาจทำให้การระบุสาเหตุคลาดเคลื่อน หรือส่งผลให้การแก้ไขระมัดระวังเกินไปเมื่อความแปรปรวนของการดำเนินการมีสูง
การเติบโตและการตัดแต่งคลังความรู้ (Library Growth and Pruning): คลังความรู้จะเก็บองค์ประกอบตามลำดับ กลไกในการตัดทอนบทเรียนที่ล้าสมัยหรือการผสานรวมทักษะที่ขัดแย้งกันอย่างมีประสิทธิภาพเมื่อต้องทำงานในระยะยาว ยังคงเป็นหัวข้อเปิดสำหรับการวิจัยต่อไป

คำศัพท์สำคัญ

harness: โครงสร้างการทำงานขณะรันไทม์ ซึ่งรวมถึง system prompt, guardrail, หน่วยความจำ, ทักษะ, แนวทางการใช้เครื่องมือ, สคริปต์, ซับเอเจนต์ และปลั๊กอินมิดเดิลแวร์ ที่ห่อหุ้มโมเดลภาษาขนาดใหญ่ (LLM) พื้นฐานที่ถูกแช่แข็งไว้เพื่อให้ทำงานเป็นเอเจนต์ได้
recursive agent harnessing: เฟรมเวิร์กการพัฒนาตนเองแบบเรียกซ้ำสองลูป โดยการเรียกซ้ำระดับงานจะปรับปรุง execution harness ของงานปัจจุบัน ในขณะที่การเรียกซ้ำระดับการควบคุมจะอัปเดตกลไกการปรับปรุงข้ามงานต่างๆ
Propose–Probe–Compose: ขั้นตอนการปรับปรุง harness เชิงเปรียบเทียบความแตกต่างที่ทำการเสนอการแก้ไข harness ตามขอบเขต, ทดสอบ (probe) พฤติกรรมเชิงประจักษ์เทียบกับการรันอ้างอิง และเลือกผสานรวม diffs ที่ผ่านการตรวจสอบแล้วโดยไม่ต้องมีคำตอบจริงกำกับ (ground-truth)
parallel recursion: แนวทางการสำรวจในระดับงานที่สร้างและทดสอบ (probe) ผู้สมัครแบบ invariant และแบบ domain-specific หลายตัวพร้อมกัน จากนั้นตามด้วยเซสชันการประกอบ (composition) ที่เป็นอิสระต่อกันหลายเซสชัน
sequential recursion: กลยุทธ์การปรับแต่งระดับงานแบบวนซ้ำ ซึ่งเชื่อมโยงขั้นตอนการปรับปรุงเชิงเปรียบเทียบอย่างต่อเนื่องโดยขึ้นกับประวัติการดำเนินการที่สะสมมา
harness improvement library: คลังเก็บข้อมูลข้ามงานที่คงอยู่ถาวร ซึ่งประกอบด้วย harness ที่ใช้งานได้จริงและบทเรียนการดำเนินงานที่บันทึกไว้ เพื่อใช้เป็นข้อมูลสำหรับการปรับแต่ง harness ในอนาคต
invariant candidate: รูปแบบ harness ที่เสนอขึ้นมาเพื่อแก้ไขข้อบกพร่องทั่วไปในการดำเนินการของเอเจนต์ เช่น การใช้เครื่องมือ, การวางแผน, การเขียนสคริปต์แบบกำหนดผลลัพธ์แน่นอน หรือการจัดการบริบท
domain-specific candidate: รูปแบบ harness ที่เสนอขึ้นมาโดยมุ่งเน้นไปที่ข้อกำหนดเชิงกระบวนการ, ความรู้เฉพาะด้าน, การตรวจสอบความสอดคล้อง และข้อกำหนดของส่งมอบที่เกี่ยวข้องกับโดเมนการดำเนินงานนั้นๆ

คำถามที่พบบ่อย

Harness2 ประเมินการแก้ไข harness อย่างไรโดยไม่ต้องใช้ ground-truth verifier หรือป้ายกำกับของงาน?

วิธีนี้ใช้การเปรียบเทียบพฤติกรรมที่ได้ระหว่างการ probe ผู้สมัครที่จับคู่กันเทียบกับการรันอ้างอิงที่ไม่มีการแก้ไข แทนที่จะคาดเดาคะแนนความถูกต้อง ตัวประกอบ (composer) จะมองหากลไกพฤติกรรมเฉพาะ, การลดข้อผิดพลาด และความสอดคล้องของผลลัพธ์ในวิถีการดำเนินการ

Harness2 จำเป็นต้องใช้ LLM ที่ทรงพลังกว่ามาทำหน้าที่เป็นตัวแก้ไข harness หรือไม่?

ไม่จำเป็น การทดลองที่ใช้โมเดลเดียวกันทุกประการทำหน้าที่เป็นทั้งผู้ดำเนินการและตัวแก้ไข harness (ทดสอบกับสายพันธุ์ GLM-5, Gemini และ Claude) แสดงให้เห็นการพัฒนาที่สม่ำเสมอบนชุดทดสอบทั้งหมด รวมถึงได้คะแนนเพิ่มขึ้น 13.7 จุดบน LAB โดยใช้ GLM-5

จะเกิดอะไรขึ้นหากการแก้ไข harness ที่เสนอมาทำให้เกิดข้อผิดพลาดหรือไม่ผ่านการตรวจสอบ?

Harness2 มีการตรวจสอบเชิงโครงสร้าง (เช่น การตรวจสอบตัวทริกเกอร์ทักษะและไวยากรณ์ของสคริปต์) หากไม่ถูกต้อง จะลองทำซ้ำหนึ่งครั้งพร้อมรับผลป้อนกลับจากตัวตรวจสอบ หากยังล้มเหลวอีกหรือก่อให้เกิดปัญหาร้ายแรงขณะรันไทม์ เช่น เอาต์พุตว่างเปล่า ระบบจะย้อนกลับไปยังสถานะ harness ล่าสุดที่มีความเสถียรอย่างปลอดภัย

ประสบการณ์ที่สะสมในชุดทดสอบหนึ่งสามารถถ่ายทอดไปยังอีกชุดทดสอบหนึ่งได้หรือไม่?

ได้ ในการทดลองข้ามชุดทดสอบ การถ่ายทอด improvement library ที่สะสมไว้บน JobBench ไปยัง WorkBuddy-Bench สามารถปรับปรุงประสิทธิภาพการทำงานแบบขั้นตอนเดียวในโดเมน Code (+0.6), Web (+0.5) และ Office (+2.9) ได้โดยไม่ต้องทำการ probe เพิ่มเติม

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI