Harness^2 : Encadrement récursif d'agents pour un monde ouvert

Guide de lecture

Problème et motivation

Les performances d'un agent LLM dépendent fortement de son harnais d'exécution (execution harness)—l'échafaudage logiciel à l'exécution composé de prompts, d'outils, de mémoire, de sous-agents et de greffons entourant un modèle de base figé. Dans les contextes dynamiques en monde ouvert, les agents font continuellement face à des flux de travail complexes et inédits. Les techniques existantes d'auto-amélioration récursive (RSI) pour les harnais peinent en raison de deux défis majeurs :

1. Absence de vérificateurs de vérité terrain : Les tâches de déploiement en ligne ne fournissent pas de réponses de référence ni de fonctions de score fiables lors de l'inférence pour évaluer si une modification de harnais en ligne a aidé ou dégradé les performances.
2. Manque de transfert inter-tâches : Les modifications directes de harnais sont généralement spécifiques à une tâche ; propager aveuglément un harnais d'exécution à travers des distributions de tâches changeantes entraîne de l'instabilité et des régressions de performance.

Idées maîtresses

Harness^2 associe deux niveaux distincts de récursion :

• Récursion au niveau de la tâche (Task-Level Recursion) : Elle affine le harnais d'exécution pour la tâche active sans vérificateurs de vérité terrain via un cycle contrastif Proposer–Sonder–Composer (Propose–Probe–Compose). Elle élabore des propositions invariantes (flux opérationnels de l'agent) et des propositions spécifiques au domaine (règles métier des spécialistes), sonde les deux sous des conditions appariées, puis compose les améliorations comportementales validées.
• Récursion au niveau du méta-harnachement (Harnessing-Level Recursion) : Elle extrait les enseignements procéduraux réutilisables et les composants adoptés au cours du processus d'affinement en cours de test au sein d'une bibliothèque d'amélioration de harnais persistante, renforçant la méta-capacité du module d'amélioration sur les tâches ultérieures.
• Mise à l'échelle modulaire : Elle prend en charge l'extension de la largeur d'exploration via une récursion parallèle ($k$ pools de candidats composés concurremment) ou de la profondeur via une récursion séquentielle ($k$ itérations enchaînées).

Méthode

Un agent est décomposé en un modèle figé $\mathcal{M}$ et un harnais modifiable $\mathcal{H}=(c^1,\dots ,c^K)$ réparti sur $K=8$ composants au niveau des fichiers (prompt système, garde-fous, mémoire, compétences, directives d'outils, scripts, sous-agents, greffon middleware).

Récursion au niveau de la tâche

Pour une tâche $q_t$, un historique d'exécution $\mathcal{E}$ et un harnais d'amélioration fixe ${\mathcal{R}}_t$, une étape contrastive $\Phi$ produit un harnais mis à jour ${\mathcal{H}}^{\prime }$, un enregistrement d'exécution $e^{\prime }$ et un journal d'étape $\xi$ : $$({\mathcal{H}}^{\prime },e^{\prime },\xi )=\Phi (q_t,\mathcal{H},\mathcal{E};{\mathcal{R}}_t)$$

1. Proposer (Propose) : Échantillonne une exécution de référence $e^0\sim \mathcal{A}(q_t;\mathcal{M},\mathcal{H})$. Conditionnée par $e^0$ et ${\mathcal{R}}_t$, elle génère un candidat invariant (flux de procédures/outils) et un candidat spécifique au domaine (contraintes métier des spécialistes).
2. Sonder (Probe) : Exécute les candidats sur $q_t$ pour observer les contrastes comportementaux par rapport à l'exécution de référence.
3. Composer (Compose) : Fusionne sélectivement les modifications vérifiées et sans conflit issues du pool de candidats.

Dans la récursion parallèle, $k$ candidats invariants et spécifiques au domaine sont échantillonnés, et $k$ sessions de composition indépendantes génèrent des successeurs : $${\mathcal{H}}_j^{\prime }=\text{textsc}{Compose}_j(q_t,\mathcal{H},\mathcal{B},\mathcal{P};{\mathcal{R}}_t),j=1,\dots ,k$$ Dans la récursion séquentielle, $k$ étapes de raffinement sont enchaînées séquentiellement : $$({\mathcal{H}}^{(r)},e^{(r)},{\xi }^{(r)})=\Phi (q_t,{\mathcal{H}}^{(r-1)},{\mathcal{E}}^{(r-1)};{\mathcal{R}}_t),r=1,\dots ,k$$

Récursion au niveau du méta-harnachement

Une fois la tâche achevée et l'artefact sélectionné, le processus d'amélioration passe en revue l'historique complet d'amélioration ${\mathcal{D}}_t$ pour mettre à jour la bibliothèque du harnais d'amélioration : $${\mathcal{R}}_{t+1}=\text{textsc}Update({\mathcal{R}}_t,{\mathcal{H}}_t^{\star },{\mathcal{D}}_t)$$ Les enseignements sont explicitement conditionnés par des contrastes de trajectoires concrets, évitant ainsi les fausses attributions causales.

Résultats

Évalué sur WorkBuddy-Bench (WB), JobBench et Legal Agent Benchmark (LAB) à l'aide de Gemini 3.5 Flash et GLM-5 sous OpenCode et Codex :

• Gains en une seule étape ($k=1$) : Engendre des améliorations allant jusqu'à $+11,5$ points sur WB Moy. (GLM-5 sur OpenCode : $64,2\to 75,7$), $+4,5$ points sur JobBench (Gemini sur OpenCode : $31,5\to 36,0$), et $+11,8$ points de pourcentage sur le taux de réussite partiel de LAB (GLM-5 sur OpenCode : $59,6\%\to 71,4\%$).
• Mise à l'échelle du budget : L'ajout de la récursion parallèle à $k=5$ apporte des gains supplémentaires de $+2,9$ à $+3,9$ points sur WB, $+3,0$ à $+4,2$ points sur JobBench, et $+2,6$ à $+6,7$ points de pourcentage sur LAB.
• Améliorateur fondé sur le même modèle : Démontre que les gains ne dépendent pas d'un modèle supérieur externe ; lorsque le même modèle agit à la fois comme exécuteur et éditeur de harnais (testé de GLM-5 jusqu'à Claude Opus 5), des améliorations constantes des performances sont observées sur l'ensemble des benchmarks.
• Ablations de composants : La suppression de la bibliothèque, du partitionnement des rôles (scoping) et de la composition réduit les performances sur WB de $3,1$, $2,9$ et $1,6$ points, respectivement.

Limites et questions ouvertes

• Surcoût en calcul à l'inférence : Proposer, sonder et composer plusieurs harnais engendre des coûts substantiels en termes de jetons et de déploiements supplémentaires.
• Stochasticité et biais d'attribution : En l'absence de vérificateurs de vérité terrain, s'appuyer sur des contrastes comportementaux peut parfois mener à une attribution de crédit bruitée ou à des modifications conservatrices/restrictives lorsque la variance d'exécution est élevée.
• Croissance et élagage de la bibliothèque : La bibliothèque conserve les composants de manière séquentielle ; les mécanismes permettant d'élaguer les leçons obsolètes ou de consolider activement les compétences contradictoires sur de très longs horizons de tâches restent un domaine de recherche ouvert.