Harness^2: Rekursives Agent Harnessing für eine offene Welt

Leseleitfaden

Problem und Motivation

Die Leistung eines LLM-Agenten hängt maßgeblich von seinem Execution Harness ab – dem Laufzeitgerüst aus Prompts, Werkzeugen, Speicher, Subagenten und Plugins, das ein eingefrorenes Basismodell umgibt. In dynamischen Open-World-Umgebungen stoßen Agenten kontinuierlich auf ungesehene, komplexe Arbeitsabläufe. Bestehende Techniken der rekursiven Selbstverbesserung (RSI) für Harnesses haben mit zwei zentralen Herausforderungen zu kämpfen:

1. Fehlen von Ground-Truth-Verifizierern: Aufgaben beim Online-Einsatz bieten weder Ground-Truth-Antworten noch verlässliche Testzeit-Bewertungsfunktionen, um zu beurteilen, ob eine Online-Harness-Änderung die Leistung verbessert oder verschlechtert hat.
2. Mangelnder aufgabenübergreifender Transfer: Direkte Harness-Modifikationen sind in der Regel aufgabenspezifisch; das unüberlegte Weitertragen eines Execution Harnesses über sich verändernde Aufgabenverteilungen hinweg führt zu Instabilität und Leistungsrückgängen.

Kernideen

Harness^2 koppelt zwei unterschiedliche Rekursionsebenen:

• Rekursion auf Aufgabenebene: Verfeinert das Execution Harness für die aktive Aufgabe ohne Ground-Truth-Verifizierer über einen kontrastiven Propose–Probe–Compose-Zyklus. Es formuliert invariante Vorschläge (Abläufe der Agentenoperationen) und domänenspezifische Vorschläge (Domänenregeln von Fachanwendern), testet (probt) beide unter vergleichbaren Bedingungen und setzt verifizierte Verhaltensverbesserungen zusammen.
• Rekursion auf Harnessing-Ebene: Extrahiert wiederverwendbare prozedurale Erkenntnisse und übernommene Komponenten aus dem Verfeinerungsprozess zur Testzeit in eine persistente Harness-Verbesserungsbibliothek, was die Meta-Fähigkeiten des Verbesserers bei nachfolgenden Aufgaben steigert.
• Pluggable Skalierung: Unterstützt die Skalierung der Explorationsbreite über parallele Rekursion ($k$ Kandidatenpools, die gleichzeitig zusammengestellt werden) oder der Tiefe über sequentielle Rekursion ($k$ verkettete Iterationen).

Methode

Ein Agent wird in ein eingefrorenes Modell $\mathcal{M}$ und ein editierbares Harness $\mathcal{H}=(c^1,\dots ,c^K)$ über $K=8$ Komponenten auf Dateiebene zerlegt (System-Prompt, Guardrails, Speicher, Skills, Tool Guidance, Skripte, Subagenten, Middleware-Plugin).

Rekursion auf Aufgabenebene

Für eine Aufgabe $q_t$, eine Ausführungshistorie $\mathcal{E}$ und ein festes Verbesserungs-Harness ${\mathcal{R}}_t$ erzeugt ein kontrastiver Schritt $\Phi$ ein aktualisiertes Harness ${\mathcal{H}}^{\prime }$, ein Ausführungsprotokoll $e^{\prime }$ und ein Schrittprotokoll $\xi$: $$({\mathcal{H}}^{\prime },e^{\prime },\xi )=\Phi (q_t,\mathcal{H},\mathcal{E};{\mathcal{R}}_t)$$

1. Propose: Zieht eine Referenzausführung $e^0\sim \mathcal{A}(q_t;\mathcal{M},\mathcal{H})$. Konditioniert auf $e^0$ und ${\mathcal{R}}_t$ wird ein invarianter Kandidat (Prozess-/Werkzeugablauf) und ein domänenspezifischer Kandidat (Einschränkungen der Fachdomäne) generiert.
2. Probe: Führt die Kandidaten auf $q_t$ aus, um Verhaltenskontraste zur Referenzausführung zu beobachten.
3. Compose: Führt verifizierte, konfliktfreie Anpassungen aus dem Kandidatenpool selektiv zusammen.

Bei der parallelen Rekursion werden $k$ invariante und domänenspezifische Kandidaten gesampelt, und $k$ unabhängige Kompositionssitzungen liefern Nachfolger: $${\mathcal{H}}_j^{\prime }=\text{textsc}{Compose}_j(q_t,\mathcal{H},\mathcal{B},\mathcal{P};{\mathcal{R}}_t),j=1,\dots ,k$$ Bei der sequentiellen Rekursion werden $k$ Verfeinerungsschritte nacheinander verkettet: $$({\mathcal{H}}^{(r)},e^{(r)},{\xi }^{(r)})=\Phi (q_t,{\mathcal{H}}^{(r-1)},{\mathcal{E}}^{(r-1)};{\mathcal{R}}_t),r=1,\dots ,k$$

Rekursion auf Harnessing-Ebene

Nach Abschluss der Aufgabe und Auswahl der Artefakte analysiert der Verbesserungsprozess das vollständige Verbesserungsprotokoll ${\mathcal{D}}_t$, um die Bibliothek des Verbesserungs-Harnesses zu aktualisieren: $${\mathcal{R}}_{t+1}=\text{textsc}Update({\mathcal{R}}_t,{\mathcal{H}}_t^{\star },{\mathcal{D}}_t)$$ Erkenntnisse werden explizit auf konkrete Trajektorienkontraste konditioniert, wodurch fehlerhafte Attributionen vermieden werden.

Ergebnisse

Evaluiert auf WorkBuddy-Bench (WB), JobBench und dem Legal Agent Benchmark (LAB) unter Verwendung von Gemini 3.5 Flash und GLM-5 mit OpenCode und Codex:

• Gewinne im Einzelschritt ($k=1$): Erzielt Verbesserungen von bis zu $+11,5$ Punkten beim WB-Durchschnitt (GLM-5 auf OpenCode: $64,2\to 75,7$), $+4,5$ Punkten auf JobBench (Gemini auf OpenCode: $31,5\to 36,0$) und $+11,8$ Prozentpunkten bei der LAB-Partial-Pass-Rate (GLM-5 auf OpenCode: $59,6\%\to 71,4\%$).
• Budget-Skalierung: Das Hinzufügen paralleler Rekursion bei $k=5$ bringt zusätzliche Zuwächse von $+2,9$ bis $+3,9$ Punkten auf WB, $+3,0$ bis $+4,2$ Punkten auf JobBench und $+2,6$ bis $+6,7$ Prozentpunkten auf LAB.
• Verbesserer mit demselben Modell: Zeigt, dass die Gewinne nicht von einem externen, überlegenen Modell abhängen; agiert dasselbe Modell sowohl als Ausführer als auch als Harness-Editor (getestet von GLM-5 bis hin zu Claude Opus 5), treten über alle Benchmarks hinweg konsistente Leistungsverbesserungen auf.
• Komponenten-Ablationen: Das Entfernen der Bibliothek, des Scoping von Rollen und der Komposition verringert die WB-Leistung jeweils um $3,1$, $2,9$ bzw. $1,6$ Punkte.

Grenzen und offene Fragen

• Inferenz-Rechenaufwand: Das Vorschlagen, Testen und Zusammensetzen mehrerer Harnesses verursacht erhebliche zusätzliche Token- und Rollout-Kosten.
• Stochastizität und Attributions-Bias: Ohne Ground-Truth-Verifizierer kann das Verlassen auf Verhaltenskontraste bei hoher Ausführungsvarianz gelegentlich dennoch zu fehlerhafter Zuordnung von Verbesserungen oder zu konservativen/einschränkenden Änderungen führen.
• Bibliothekswachstum und Pruning: Die Bibliothek behält Komponenten sequentiell bei; Mechanismen zum Bereinigen veralteter Erkenntnisse oder zum aktiven Konsolidieren widersprüchlicher Fähigkeiten über sehr lange Aufgabenhorizonte bleiben ein offenes Forschungsfeld.