Harness^2: Рекурсивное управление средой агента в открытом мире

Разбор статьи

Проблема и мотивация

Эффективность LLM-агента в значительной степени зависит от его среды выполнения (execution harness) — рантайм-обвязки из промптов, инструментов, памяти, субагентов и плагинов, окружающих неизменяемую базовую модель. В динамичных условиях открытого мира агенты постоянно сталкиваются с неизвестными сложными рабочими процессами. Существующие методы рекурсивного самосовершенствования (RSI) для таких сред сталкиваются с двумя основными проблемами:

1. Отсутствие ground-truth верификаторов: Задачи при онлайн-развертывании не содержат эталонных ответов или надежных функций оценки на этапе тестирования, чтобы определить, помогла ли правка среды или ухудшила результат.
2. Отсутствие переноса между задачами: Прямые модификации среды обычно зависят от конкретной задачи; слепой перенос среды выполнения на изменившееся распределение задач приводит к нестабильности и деградации производительности.

Ключевые идеи

Harness^2 связывает два различных уровня рекурсии:

• Рекурсия на уровне задач (Task-Level Recursion): Оптимизирует среду выполнения для текущей задачи без верификаторов истинности с помощью контрастивного цикла Propose–Probe–Compose. Он формирует инвариантные предложения (общие рабочие процессы агента) и доменно-специфичные предложения (правила конкретной предметной области), проверяет (probe) оба типа в сопоставимых условиях и объединяет (compose) подтвержденные поведенческие улучшения.
• Рекурсия на уровне управления средой (Harnessing-Level Recursion): Извлекает переиспользуемый процедурный опыт и внедренные компоненты из процесса тестовой оптимизации в постоянную библиотеку улучшения сред, повышая мета-способность оптимизатора для последующих задач.
• Модульное масштабирование (Pluggable Scaling): Поддерживает масштабирование ширины исследования через параллельную рекурсию ($k$ пулов кандидатов объединяются параллельно) или глубины через последовательную рекурсию ($k$ последовательных итераций).

Метод

Агент разделяется на неизменяемую модель $\mathcal{M}$ и редактируемую среду $\mathcal{H}=(c^1,\dots ,c^K)$, состоящую из $K=8$ компонентов на уровне файлов (системный промпт, гардрайлы, память, навыки, руководства по инструментам, скрипты, субагенты, middleware-плагин).

Рекурсия на уровне задач

Для задачи $q_t$, истории выполнения $\mathcal{E}$ и фиксированной среды улучшения ${\mathcal{R}}_t$ контрастивный шаг $\Phi$ формирует обновленную среду ${\mathcal{H}}^{\prime }$, запись выполнения $e^{\prime }$ и запись шага $\xi$: $$({\mathcal{H}}^{\prime },e^{\prime },\xi )=\Phi (q_t,\mathcal{H},\mathcal{E};{\mathcal{R}}_t)$$

1. Propose (Предложение): Сэмплирует эталонное выполнение $e^0\sim \mathcal{A}(q_t;\mathcal{M},\mathcal{H})$. С учетом $e^0$ и ${\mathcal{R}}_t$ генерирует инвариантного кандидата (процедурный процесс / логика работы с инструментами) и доменно-специфичного кандидата (ограничения предметной области).
2. Probe (Зондирование): Запускает кандидатов на задаче $q_t$ для наблюдения поведенческих контрастов по сравнению с эталонным выполнением.
3. Compose (Композиция): Выборочно объединяет подтвержденные, неконфликтующие изменения из пула кандидатов.

В параллельной рекурсии сэмплируются $k$ инвариантных и доменных кандидатов, а $k$ независимых сессий композиции дают преемников: $${\mathcal{H}}_j^{\prime }=\text{textsc}{Compose}_j(q_t,\mathcal{H},\mathcal{B},\mathcal{P};{\mathcal{R}}_t),j=1,\dots ,k$$ В последовательной рекурсии последовательно выстраиваются $k$ шагов оптимизации: $$({\mathcal{H}}^{(r)},e^{(r)},{\xi }^{(r)})=\Phi (q_t,{\mathcal{H}}^{(r-1)},{\mathcal{E}}^{(r-1)};{\mathcal{R}}_t),r=1,\dots ,k$$

Рекурсия на уровне управления средой

После завершения задачи и выбора финального артефакта процесс оптимизации анализирует полную историю улучшений ${\mathcal{D}}_t$ для обновления библиотеки среды улучшения: $${\mathcal{R}}_{t+1}=\text{textsc}Update({\mathcal{R}}_t,{\mathcal{H}}_t^{\star },{\mathcal{D}}_t)$$ Выводы строго обусловлены конкретными контрастами траекторий, что предотвращает ложные атрибуции.

Результаты

Оценка проводилась на бенчмарках WorkBuddy-Bench (WB), JobBench и Legal Agent Benchmark (LAB) с использованием Gemini 3.5 Flash и GLM-5 в окружениях OpenCode и Codex:

• Прирост за один шаг ($k=1$): Обеспечивает улучшение до $+11,5$ баллов на WB Avg. (GLM-5 на OpenCode: с $64,2$ до $75,7$), $+4,5$ баллов на JobBench (Gemini на OpenCode: с $31,5$ до $36,0$) и $+11,8$ процентных пунктов метрики Partial pass rate на LAB (GLM-5 на OpenCode: с $59,6\%$ до $71,4\%$).
• Масштабирование бюджета: Добавление параллельной рекурсии при $k=5$ дает дополнительный прирост от $+2,9$ до $+3,9$ баллов на WB, от $+3,0$ до $+4,2$ баллов на JobBench и от $+2,6$ до $+6,7$ процентных пунктов на LAB.
• Оптимизатор на базе той же модели: Показано, что результаты не зависят от внешней более сильной модели; когда одна и та же модель выступает в роли исполнителя и редактора среды (проверено на моделях от GLM-5 до Claude Opus 5), стабильный рост наблюдается на всех бенчмарках.
• Абляция компонентов: Удаление библиотеки, разграничения ролей и блока композиции снижает показатели на WB на $3,1$, $2,9$ и $1,6$ баллов соответственно.

Ограничения и открытые вопросы

• Вычислительные накладные расходы при инференсе: Формирование предложений, зондирование и композиция нескольких сред требуют существенных дополнительных затрат токенов и прогонов.
• Стохастичность и смещение атрибуции: Без ground-truth верификаторов опора на поведенческие контрасты может иногда приводить к неточной атрибуции полезности действий или к излишне консервативным правкам при высокой дисперсии выполнения.
• Рост и очистка библиотеки: Библиотека накапливает компоненты последовательно; механизмы удаления устаревшего опыта или активной консолидации конфликтующих навыков на длинных горизонтах задач остаются предметом будущих исследований.