Harness^2: Recursive Agent Harnessing for an Open World

Guía de lectura

Problema y motivación

El rendimiento de un agente basado en LLM depende en gran medida de su execution harness: el andamiaje en tiempo de ejecución compuesto por prompts, herramientas, memoria, subagentes y plugins que rodea a un modelo base congelado. En entornos dinámicos de mundo abierto, los agentes se enfrentan continuamente a flujos de trabajo complejos y no vistos previamente. Las técnicas existentes de autorrefinamiento recursivo (RSI) para harnesses tienen dificultades debido a dos desafíos principales:

1. Ausencia de verificadores ground-truth: Las tareas desplegadas en línea no proporcionan respuestas ground-truth ni funciones confiables de puntuación en tiempo de prueba para evaluar si una edición del harness en línea benefició o perjudicó el rendimiento.
2. Falta de transferencia entre tareas: Las modificaciones directas del harness suelen ser específicas para una sola tarea; transferir a ciegas un execution harness a través de distribuciones cambiantes de tareas provoca inestabilidad y regresiones en el rendimiento.

Ideas clave

Harness^2 acopla dos niveles distintos de recursión:

• Recursión a nivel de tarea (Task-Level Recursion): Refina el execution harness para la tarea activa sin verificadores ground-truth mediante un ciclo contrastivo de Propose–Probe–Compose. Formula propuestas invariantes (flujos de trabajo operacionales del agente) y propuestas específicas del dominio (reglas de dominio para profesionales), prueba ambas bajo condiciones equivalentes y compone las mejoras de comportamiento verificadas.
• Recursión a nivel de harnessing (Harnessing-Level Recursion): Extrae lecciones procedimentales reutilizables y componentes adoptados del proceso de refinamiento en tiempo de prueba hacia una biblioteca de mejora del harness persistente, mejorando la meta-capacidad del optimizador en tareas subsiguientes.
• Escalabilidad modular: Permite escalar la amplitud de exploración mediante recursión paralela ($k$ conjuntos de candidatos compuestos de forma concurrente) o la profundidad mediante recursión secuencial ($k$ iteraciones encadenadas).

Método

Un agente se descompone en un modelo congelado $\mathcal{M}$ y un harness editable $\mathcal{H}=(c^1,\dots ,c^K)$ distribuido en $K=8$ componentes a nivel de archivo (prompt del sistema, barandillas de seguridad, memoria, habilidades, orientación de herramientas, scripts, subagentes y plugin de middleware).

Recursión a nivel de tarea

Para una tarea $q_t$, un historial de ejecución $\mathcal{E}$ y un harness de mejora fijo ${\mathcal{R}}_t$, un paso contrastivo $\Phi$ produce un harness actualizado ${\mathcal{H}}^{\prime }$, un registro de ejecución $e^{\prime }$ y un registro de paso $\xi$: $$({\mathcal{H}}^{\prime },e^{\prime },\xi )=\Phi (q_t,\mathcal{H},\mathcal{E};{\mathcal{R}}_t)$$

1. Propose: Muestrea una ejecución de referencia $e^0\sim \mathcal{A}(q_t;\mathcal{M},\mathcal{H})$. Condicionado a $e^0$ y ${\mathcal{R}}_t$, genera un candidato invariante (flujo procedimental/de herramientas) y un candidato específico del dominio (restricciones del profesional).
2. Probe: Ejecuta los candidatos sobre $q_t$ para observar contrastes de comportamiento frente a la ejecución de referencia.
3. Compose: Fusiona selectivamente las ediciones verificadas y no conflictivas del conjunto de candidatos.

En la recursión paralela, se muestrean $k$ candidatos invariantes y de dominio, y $k$ sesiones independientes de composición generan los sucesores: $${\mathcal{H}}_j^{\prime }=\text{textsc}{Compose}_j(q_t,\mathcal{H},\mathcal{B},\mathcal{P};{\mathcal{R}}_t),j=1,\dots ,k$$ En la recursión secuencial, se encadenan secuencialmente $k$ pasos de refinamiento: $$({\mathcal{H}}^{(r)},e^{(r)},{\xi }^{(r)})=\Phi (q_t,{\mathcal{H}}^{(r-1)},{\mathcal{E}}^{(r-1)};{\mathcal{R}}_t),r=1,\dots ,k$$

Recursión a nivel de harnessing

Tras completar la tarea y seleccionar el artefacto, el proceso de mejora revisa el registro completo de mejora ${\mathcal{D}}_t$ para actualizar la biblioteca del harness de mejora: $${\mathcal{R}}_{t+1}=\text{textsc}Update({\mathcal{R}}_t,{\mathcal{H}}_t^{\star },{\mathcal{D}}_t)$$ Las lecciones aprendidas se condicionan explícitamente a contrastes de trayectorias concretas, evitando atribuciones espurias.

Resultados

Evaluado en WorkBuddy-Bench (WB), JobBench y Legal Agent Benchmark (LAB) utilizando Gemini 3.5 Flash y GLM-5 bajo OpenCode y Codex:

• Ganancias en un solo paso ($k=1$): Produce mejoras de hasta $+11.5$ puntos en WB Avg. (GLM-5 en OpenCode: $64.2\to 75.7$), $+4.5$ puntos en JobBench (Gemini en OpenCode: $31.5\to 36.0$) y $+11.8$ puntos porcentuales en la tasa de aprobación parcial de LAB (GLM-5 en OpenCode: $59.6\%\to 71.4\%$).
• Escalado del presupuesto: Añadir recursión paralela con $k=5$ produce ganancias adicionales de $+2.9$ a $+3.9$ puntos en WB, $+3.0$ a $+4.2$ puntos en JobBench y $+2.6$ a $+6.7$ puntos porcentuales en LAB.
• Optimizador con el mismo modelo: Demuestra que las mejoras no dependen de un modelo externo superior; cuando el mismo modelo actúa tanto de ejecutor como de editor del harness (probado desde GLM-5 hasta Claude Opus 5), se observan mejoras de rendimiento consistentes en todos los benchmarks.
• Ablaciones de componentes: Eliminar la biblioteca, la delimitación de roles y la composición reduce el rendimiento en WB en $3.1$, $2.9$ y $1.6$ puntos, respectivamente.

Limitaciones y preguntas abiertas

• Sobrecarga de cómputo en inferencia: Proponer, probar y componer múltiples harnesses incurre en costos adicionales sustanciales de tokens y rollouts.
• Estocasticidad y sesgo de atribución: Sin verificadores ground-truth, confiar en contrastes de comportamiento aún puede conducir ocasionalmente a una atribución de crédito ruidosa o a ediciones conservadoras/restrictivas cuando la varianza de la ejecución es alta.
• Crecimiento y poda de la biblioteca: La biblioteca retiene componentes de forma secuencial; los mecanismos para podar lecciones obsoletas o consolidar activamente habilidades en conflicto a lo largo de horizontes de tareas muy extensos siguen siendo un área abierta de investigación.