Harness^2: Recursive Agent Harnessing for an Open World

Panduan membaca

Masalah dan motivasi

Performa agen LLM sangat bergantung pada harness eksekusinya—perancah runtime dari prompt, tools, memori, subagen, dan plugin yang mengelilingi model dasar yang dibekukan. Dalam pengaturan open-world yang dinamis, agen terus-menerus menghadapi alur kerja yang kompleks dan belum pernah terlihat sebelumnya. Teknik recursive self-improvement (RSI) yang ada saat ini untuk harness mengalami kesulitan karena dua tantangan utama:

1. Ketiadaan verifikator ground-truth: Tugas penerapan online tidak menyediakan jawaban ground-truth atau fungsi penilaian test-time yang andal untuk mengevaluasi apakah penyuntingan harness online membantu atau merusak performa.
2. Kurangnya transfer lintas tugas: Modifikasi harness langsung umumnya spesifik untuk tugas tertentu; meneruskan harness eksekusi secara membabi buta di seluruh distribusi tugas yang bergeser menyebabkan ketidakstabilan dan penurunan performa.

Ide utama

Harness^2 menggabungkan dua tingkatan rekursi yang berbeda:

• Rekursi Tingkat Tugas: Menyempurnakan harness eksekusi untuk tugas aktif tanpa verifikator ground-truth melalui siklus Propose–Probe–Compose kontrastif. Metode ini merumuskan proposal invarian (alur kerja operasional agen) dan proposal spesifik domain (aturan domain praktisi), menguji (probe) keduanya di bawah kondisi yang cocok, serta menyusun (compose) peningkatan perilaku yang terverifikasi.
• Rekursi Tingkat Harnessing: Mengekstrak pelajaran prosedural yang dapat digunakan kembali dan komponen yang diadopsi dari proses penyempurnaan test-time ke dalam pustaka peningkatan harness persisten, meningkatkan kemampuan meta pembaru pada tugas-tugas berikutnya.
• Penskalaan Fleksibel (Pluggable Scaling): Mendukung penskalaan lebar eksplorasi melalui rekursi paralel ($k$ kumpulan kandidat disusun secara konkuren) atau kedalaman melalui rekursi sekuensial ($k$ iterasi berantai).

Metode

Sebuah agen didekomposisi menjadi model beku $\mathcal{M}$ dan harness yang dapat diedit $\mathcal{H}=(c^1,\dots ,c^K)$ di seluruh $K=8$ komponen tingkat file (system prompt, guardrail, memori, keahlian, panduan alat, skrip, subagen, plugin middleware).

Rekursi Tingkat Tugas

Untuk tugas $q_t$, riwayat eksekusi $\mathcal{E}$, dan harness perbaikan tetap ${\mathcal{R}}_t$, sebuah langkah kontrastif $\Phi$ menghasilkan harness yang diperbarui ${\mathcal{H}}^{\prime }$, catatan eksekusi $e^{\prime }$, dan catatan langkah $\xi$: $$({\mathcal{H}}^{\prime },e^{\prime },\xi )=\Phi (q_t,\mathcal{H},\mathcal{E};{\mathcal{R}}_t)$$

1. Propose: Mengambil sampel eksekusi referensi $e^0\sim \mathcal{A}(q_t;\mathcal{M},\mathcal{H})$. Dikondisikan pada $e^0$ dan ${\mathcal{R}}_t$, proses ini menghasilkan kandidat invarian (alur prosedural/alat) dan kandidat spesifik domain (batasan praktisi).
2. Probe: Mengeksekusi kandidat pada $q_t$ untuk mengamati kontras perilaku terhadap eksekusi referensi.
3. Compose: Secara selektif menggabungkan suntingan yang terverifikasi dan tidak saling bertentangan dari kumpulan kandidat.

Dalam Rekursi Paralel, $k$ kandidat invarian dan domain diambil sampelnya, dan $k$ sesi komposisi independen menghasilkan penerus: $${\mathcal{H}}_j^{\prime }=\text{textsc}{Compose}_j(q_t,\mathcal{H},\mathcal{B},\mathcal{P};{\mathcal{R}}_t),j=1,\dots ,k$$ Dalam Rekursi Sekuensial, $k$ langkah penyempurnaan dirangkai secara berurutan: $$({\mathcal{H}}^{(r)},e^{(r)},{\xi }^{(r)})=\Phi (q_t,{\mathcal{H}}^{(r-1)},{\mathcal{E}}^{(r-1)};{\mathcal{R}}_t),r=1,\dots ,k$$

Rekursi Tingkat Harnessing

Setelah penyelesaian tugas dan pemilihan artefak, proses perbaikan meninjau catatan perbaikan lengkap ${\mathcal{D}}_t$ untuk memperbarui pustaka harness perbaikan: $${\mathcal{R}}_{t+1}=\text{textsc}Update({\mathcal{R}}_t,{\mathcal{H}}_t^{\star },{\mathcal{D}}_t)$$ Pelajaran secara eksplisit dikondisikan pada kontras trajektori konkret, guna menghindari atribusi palsu.

Hasil

Dievaluasi di seluruh WorkBuddy-Bench (WB), JobBench, dan Legal Agent Benchmark (LAB) menggunakan Gemini 3.5 Flash dan GLM-5 di bawah OpenCode dan Codex:

• Keuntungan Satu Langkah ($k=1$): Menghasilkan peningkatan hingga $+11,5$ poin pada Rata-rata WB (GLM-5 pada OpenCode: $64,2\to 75,7$), $+4,5$ poin pada JobBench (Gemini pada OpenCode: $31,5\to 36,0$), dan $+11,8$ poin persentase pada tingkat kelulusan parsial LAB (GLM-5 pada OpenCode: $59,6\%\to 71,4\%$).
• Penskalaan Anggaran: Menambahkan rekursi paralel pada $k=5$ menghasilkan perolehan tambahan sebesar $+2,9$ hingga $+3,9$ poin pada WB, $+3,0$ hingga $+4,2$ poin pada JobBench, dan $+2,6$ hingga $+6,7$ poin persentase pada LAB.
• Pembaru Model yang Sama (Same-Model Improver): Menunjukkan bahwa perolehan performa tidak bergantung pada model eksternal yang lebih superior; ketika model yang sama bertindak sebagai eksekutor sekaligus penyunting harness (diuji di GLM-5 hingga Claude Opus 5), peningkatan performa yang konsisten terjadi di semua tolok ukur.
• Ablasi Komponen: Menghapus pustaka, peran scoping, dan komposisi menurunkan performa WB masing-masing sebesar $3,1$, $2,9$, dan $1,6$ poin.

Keterbatasan dan pertanyaan terbuka

• Beban Komputasi Inferensi: Mengusulkan, menguji (probe), dan menyusun beberapa harness menimbulkan biaya token dan rollout tambahan yang substansial.
• Stokastisitas dan Bias Atribusi: Tanpa verifikator ground-truth, ketergantungan pada kontras perilaku terkadang masih dapat menyebabkan atribusi kredit yang bising (noisy) atau suntingan yang terlalu konservatif/restriktif saat varians eksekusi tinggi.
• Pertumbuhan dan Pemangkasan Pustaka: Pustaka mempertahankan komponen secara sekuensial; mekanisme untuk memangkas pelajaran yang usang atau secara aktif mengonsolidasikan keahlian yang bertentangan dalam rentang tugas yang sangat panjang masih menjadi topik riset terbuka.