Harness^2: Harnessing Recursivo de Agentes para um Mundo Aberto

Guia de leitura

Problema e motivação

O desempenho de um agente baseado em LLM depende fortemente de seu harness de execução — o scaffolding em tempo de execução composto por prompts, ferramentas, memória, subagentes e plugins que cercam um modelo base congelado. Em cenários dinâmicos de mundo aberto, os agentes encontram continuamente fluxos de trabalho complexos e inéditos. As técnicas existentes de autoaperfeiçoamento recursivo (RSI) para harnesses enfrentam dificuldades devido a dois desafios principais:

1. Ausência de verificadores ground-truth: Tarefas de implantação online não fornecem respostas ground-truth ou funções de pontuação confiáveis em tempo de teste para avaliar se uma edição online do harness ajudou ou prejudicou o desempenho.
2. Falta de transferência entre tarefas: Modificações diretas no harness são tipicamente específicas da tarefa; transferir cegamente um harness de execução através de distribuições de tarefas mutáveis causa instabilidade e regressões de desempenho.

Ideias centrais

O Harness^2 acopla dois níveis distintos de recursão:

• Recursão em Nível de Tarefa: Refina o harness de execução para a tarefa ativa sem verificadores ground-truth por meio de um ciclo contrastivo Propose–Probe–Compose. Ele formula propostas invariantes (fluxos de trabalho operacionais do agente) e propostas específicas de domínio (regras de domínio de especialistas), sonda ambas sob condições equivalentes e compõe melhorias comportamentais verificadas.
• Recursão em Nível de Harnessing: Extrai lições procedurais reutilizáveis e componentes adotados do processo de refinamento em tempo de teste para uma biblioteca de melhoria de harness persistente, aprimorando a meta-capacidade do aperfeiçoador em tarefas subsequentes.
• Escalonamento Conectável: Suporta o escalonamento da largura de exploração via recursão paralela ($k$ pools de candidatos compostos concorrentemente) ou profundidade via recursão sequencial ($k$ iterações encadeadas).

Método

Um agente é decomposto em um modelo congelado $\mathcal{M}$ e um harness editável $\mathcal{H}=(c^1,\dots ,c^K)$ ao longo de $K=8$ componentes em nível de arquivo (system prompt, guardrails, memória, skills, orientação de ferramentas, scripts, subagentes, plugin de middleware).

Recursão em Nível de Tarefa

Para uma tarefa $q_t$, histórico de execução $\mathcal{E}$ e harness de melhoria fixo ${\mathcal{R}}_t$, uma etapa contrastiva $\Phi$ produz um harness atualizado ${\mathcal{H}}^{\prime }$, registro de execução $e^{\prime }$ e registro de etapa $\xi$: $$({\mathcal{H}}^{\prime },e^{\prime },\xi )=\Phi (q_t,\mathcal{H},\mathcal{E};{\mathcal{R}}_t)$$

1. Propose: Amostra uma execução de referência $e^0\sim \mathcal{A}(q_t;\mathcal{M},\mathcal{H})$. Condicionado a $e^0$ e ${\mathcal{R}}_t$, gera um candidato invariante (fluxo procedural/ferramentas) e um candidato específico de domínio (restrições de especialistas).
2. Probe: Executa os candidatos em $q_t$ para observar contrastes comportamentais em relação à execução de referência.
3. Compose: Mescla seletivamente edições verificadas e não conflitantes do pool de candidatos.

Na Recursão Paralela, $k$ candidatos invariantes e de domínio são amostrados, e $k$ sessões de composição independentes geram sucessores: $${\mathcal{H}}_j^{\prime }=\text{textsc}{Compose}_j(q_t,\mathcal{H},\mathcal{B},\mathcal{P};{\mathcal{R}}_t),j=1,\dots ,k$$ Na Recursão Sequencial, $k$ etapas de refinamento são encadeadas sequencialmente: $$({\mathcal{H}}^{(r)},e^{(r)},{\xi }^{(r)})=\Phi (q_t,{\mathcal{H}}^{(r-1)},{\mathcal{E}}^{(r-1)};{\mathcal{R}}_t),r=1,\dots ,k$$

Recursão em Nível de Harnessing

Após a conclusão da tarefa e seleção do artefato, o processo de melhoria revisa o registro de melhoria completo ${\mathcal{D}}_t$ para atualizar a biblioteca do harness de melhoria: $${\mathcal{R}}_{t+1}=\text{textsc}Update({\mathcal{R}}_t,{\mathcal{H}}_t^{\star },{\mathcal{D}}_t)$$ As lições são explicitamente condicionadas a contrastes concretos de trajetória, evitando atribuições espúrias.

Resultados

Avaliado no WorkBuddy-Bench (WB), JobBench e Legal Agent Benchmark (LAB) utilizando Gemini 3.5 Flash e GLM-5 sob OpenCode e Codex:

• Ganhos em Etapa Única ($k=1$): Produz melhorias de até $+11,5$ pontos na média do WB (GLM-5 no OpenCode: $64,2\to 75,7$), $+4,5$ pontos no JobBench (Gemini no OpenCode: $31,5\to 36,0$) e $+11,8$ pontos percentuais na taxa de acerto parcial do LAB (GLM-5 no OpenCode: $59,6\%\to 71,4\%$).
• Escalonamento de Orçamento: Adicionar recursão paralela com $k=5$ gera ganhos adicionais de $+2,9$ a $+3,9$ pontos no WB, $+3,0$ a $+4,2$ pontos no JobBench e $+2,6$ a $+6,7$ pontos percentuais no LAB.
• Aperfeiçoador com o Mesmo Modelo: Demonstra que os ganhos não dependem de um modelo externo superior; quando o mesmo modelo atua tanto como executor quanto como editor de harness (testado de GLM-5 até Claude Opus 5), melhorias consistentes de desempenho ocorrem em todos os benchmarks.
• Ablações de Componentes: Remover a biblioteca, o escopo de papéis e a composição reduz o desempenho no WB em $3,1$, $2,9$ e $1,6$ pontos, respectivamente.

Limitações e questões em aberto

• Custo Computacional de Inferência: Propor, sondar e compor múltiplos harnesses incorre em custos adicionais substanciais de tokens e rollouts.
• Estocasticidade e Viés de Atribuição: Sem verificadores ground-truth, confiar em contrastes comportamentais ainda pode ocasionalmente levar a atribuições ruidosas de crédito ou a edições conservadoras/restritivas quando a variância da execução é alta.
• Crescimento e Poda da Biblioteca: A biblioteca retém componentes sequencialmente; mecanismos para podar lições desatualizadas ou consolidar ativamente habilidades conflitantes em horizontes muito longos de tarefas permanecem como uma área em aberto para pesquisa.