Harness^2: 열린 세계를 위한 재귀적 에이전트 하네싱

논문 해설

문제 및 동기

LLM 에이전트의 성능은 고정된 베이스 모델을 둘러싼 프롬프트, 도구, 메모리, 서브에이전트, 플러그인 등의 런타임 스캐폴딩인 실행 하네스(execution harness)에 크게 의존합니다. 동적인 열린 세계 환경에서 에이전트는 이전에 보지 못한 복잡한 워크플로를 지속적으로 마주합니다. 하네스를 위한 기존 재귀적 자기 개선(RSI) 기법들은 다음과 같은 두 가지 주요 과제로 인해 어려움을 겪습니다:

1. 정답 검증기(ground-truth verifier)의 부재: 온라인 배포 태스크는 온라인 하네스 수정이 성능을 향상시켰는지 악화시켰는지 평가할 수 있는 정답 레이블이나 신뢰할 수 있는 테스트 타임 채점 함수를 제공하지 않습니다.
2. 태스크 간 전이 부족: 하네스를 직접 수정하는 방식은 일반적으로 태스크 특화적입니다. 변화하는 태스크 분포 전반에 걸쳐 실행 하네스를 무작정 유지하는 것은 불안정성을 초래하고 성능 저하를 유발합니다.

핵심 아이디어

Harness^2는 두 가지 서로 다른 수준의 재귀를 결합합니다:

• 태스크 수준 재귀(Task-Level Recursion): 대조적인 Propose–Probe–Compose 주기를 통해 정답 검증기 없이도 현재 태스크를 위한 실행 하네스를 정제합니다. 불변 제안(invariant proposal, 에이전트 운영 워크플로)과 도메인 특화 제안(domain-specific proposal, 실무자 도메인 규칙)을 구성하고, 동일 조건에서 두 제안을 탐침(probe)한 뒤, 검증된 행동 개선 사항을 합성(compose)합니다.
• 하네싱 수준 재귀(Harnessing-Level Recursion): 테스트 타임 정제 과정에서 얻은 재사용 가능한 절차적 교훈과 채택된 컴포넌트를 영구적인 **하네스 개선 라이브러리(harness improvement library)**로 추출하여, 이후 태스크에 대한 개선기의 메타 역량을 향상시킵니다.
• 플러그형 확장(Pluggable Scaling): 병렬 재귀($k$개의 후보 풀을 동시에 합성)를 통한 탐색 너비 확장 또는 순차 재귀($k$개의 연결된 반복)를 통한 탐색 깊이 확장을 지원합니다.

방법론

에이전트는 고정된 모델 $\mathcal{M}$과 8개($K=8$)의 파일 수준 컴포넌트(시스템 프롬프트, 가드레일, 메모리, 스킬, 도구 가이드, 스크립트, 서브에이전트, 미들웨어 플러그인)로 이루어진 편집 가능한 하네스 $\mathcal{H}=(c^1,\dots ,c^K)$로 분해됩니다.

태스크 수준 재귀

태스크 $q_t$, 실행 기록 $\mathcal{E}$, 고정된 개선 하네스 ${\mathcal{R}}_t$에 대해, 대조 스텝 $\Phi$는 업데이트된 하네스 ${\mathcal{H}}^{\prime }$, 실행 기록 $e^{\prime }$, 스텝 기록 $\xi$를 생성합니다: $$({\mathcal{H}}^{\prime },e^{\prime },\xi )=\Phi (q_t,\mathcal{H},\mathcal{E};{\mathcal{R}}_t)$$

1. Propose: 참조 실행 $e^0\sim \mathcal{A}(q_t;\mathcal{M},\mathcal{H})$을 샘플링합니다. $e^0$ 및 ${\mathcal{R}}_t$를 조건으로 하여 불변 후보(invariant candidate) (절차적/도구 흐름) 및 도메인 특화 후보(domain-specific candidate) (실무자 제약 조건)를 생성합니다.
2. Probe: $q_t$에서 후보들을 실행하여 참조 실행 대비 행동 대조(behavioral contrast)를 관찰합니다.
3. Compose: 후보 풀에서 검증되고 충돌이 없는 수정 사항을 선별적으로 병합합니다.

**병렬 재귀(Parallel Recursion)**에서는 $k$개의 불변 및 도메인 후보가 샘플링되고, $k$개의 독립적인 합성 세션을 통해 다음 하네스들이 생성됩니다: $${\mathcal{H}}_j^{\prime }=\text{textsc}{Compose}_j(q_t,\mathcal{H},\mathcal{B},\mathcal{P};{\mathcal{R}}_t),j=1,\dots ,k$$ **순차 재귀(Sequential Recursion)**에서는 $k$개의 정제 단계가 순차적으로 연결됩니다: $$({\mathcal{H}}^{(r)},e^{(r)},{\xi }^{(r)})=\Phi (q_t,{\mathcal{H}}^{(r-1)},{\mathcal{E}}^{(r-1)};{\mathcal{R}}_t),r=1,\dots ,k$$

하네싱 수준 재귀

태스크 완료 및 결과물 선택 후, 개선 과정은 전체 개선 기록 ${\mathcal{D}}_t$를 검토하여 개선 하네스 라이브러리를 업데이트합니다: $${\mathcal{R}}_{t+1}=\text{textsc}Update({\mathcal{R}}_t,{\mathcal{H}}_t^{\star },{\mathcal{D}}_t)$$ 교훈은 구체적인 궤적 대조를 바탕으로 명시적으로 조건화되어 잘못된 원인 귀속(spurious attribution)을 방지합니다.

결과

Gemini 3.5 Flash 및 GLM-5를 기반으로 OpenCode 및 Codex 환경에서 WorkBuddy-Bench (WB), JobBench, Legal Agent Benchmark (LAB)을 평가했습니다:

• 단일 스텝 ($k=1$) 성능 향상: WB 평균에서 최대 $+11.5$점(OpenCode 환경의 GLM-5: $64.2\to 75.7$), JobBench에서 $+4.5$점(OpenCode 환경의 Gemini: $31.5\to 36.0$), LAB 부분 통과율(Partial pass rate)에서 $+11.8$ percentage points(OpenCode 환경의 GLM-5: $59.6\%\to 71.4\%$)의 향상을 달성했습니다.
• 예산 확장(Budget Scaling): $k=5$ 수준의 병렬 재귀를 추가하면 WB에서 $+2.9$ ~ $+3.9$점, JobBench에서 $+3.0$ ~ $+4.2$점, LAB에서 $+2.6$ ~ $+6.7$ percentage points의 추가 성능 이득을 얻을 수 있습니다.
• 동일 모델 개선기(Same-Model improver): 성능 향상이 외부의 우수한 상위 모델에 의존하지 않음을 입증했습니다. 동일한 모델이 실행기와 하네스 편집기 역할을 모두 수행할 때(GLM-5부터 Claude Opus 5까지 테스트), 모든 벤치마크에서 일관된 성능 향상이 나타났습니다.
• 컴포넌트 제거 연구(Ablations): 라이브러리, 역할 범위 지정, 합성을 제거하면 WB 성능이 각각 $3.1$, $2.9$, $1.6$점 감소했습니다.

한계점 및 미해결 과제

• 추론 연산 오버헤드: 여러 하네스를 제안(propose), 탐침(probe), 합성(compose)하는 과정에서 상당한 양의 추가 토큰 및 롤아웃 비용이 발생합니다.
• 확률성과 원인 귀속 편향: 정답 검증기가 없기 때문에 실행 분산이 클 경우 행동 대조에 의존하는 방식이 노이즈가 낀 크레딧 할당이나 지나치게 보수적/제한적인 수정으로 이어질 수 있습니다.
• 라이브러리 증가 및 가지치기: 라이브러리는 컴포넌트를 순차적으로 유지합니다. 매우 긴 태스크 기간 동안 구식 교훈을 가지치기(prune)하거나 상충되는 스킬을 능동적으로 통합하는 메커니즘은 여전히 미해결 연구 과제로 남아 있습니다.