OpenHands: открытая платформа для создания универсальных агентов-разработчиков ПО

Разбор статьи

Проблема и мотивация

Разработка программного обеспечения — один из наиболее выразительных интерфейсов взаимодействия человека с цифровым миром. Хотя большие языковые модели (LLM) способны генерировать изолированные фрагменты кода, реальная программная инженерия требует взаимодействия на длинных горизонтах планирования: навигации по репозиториям, модификации многофайловых архитектур, выполнения bash-команд, чтения документации через веб-браузер и самостоятельной отладки на основе обратной связи от среды выполнения.

Существующие агентные фреймворки часто страдали от критических архитектурных недостатков: отсутствия изолированных сред выполнения, сред запуска кода без сохранения состояния (stateless), отсутствия мультимодального веб-серфинга или отсутствия стандартизированных инструментов оценки в гетерогенных доменах. OpenHands (ранее OpenDevin) решает эти проблемы, предлагая платформу с открытым исходным кодом (лицензия MIT) с изолированными средами выполнения (песочницами), расширяемым интерфейсом агент-компьютер (Agent-Computer Interfaces, ACI), координацией нескольких агентов и стандартизированным бенчмаркингом.

Ключевые идеи

• Архитектура потока событий (Event Stream Architecture): инструкции пользователя, действия агента и наблюдения за средой выполнения хронологически фиксируются в потоке событий, объединяющем взаимодействие между фронтендами, агентами и изолированными средами выполнения.
• Примитивы языков программирования (PL Primitives): вместо нестабильных пользовательских API взаимодействие агента строится на универсальных действиях: IPythonRunCellAction, CmdRunAction и BrowseInteractiveAction (на базе BrowserGym).
• Расширяемый набор инструментов AgentSkills: модульный Python-пакет, предварительно загруженный в ядро IPython, предоставляет высокоуровневые утилиты (например, построчное редактирование файлов на основе AST edit_file, парсинг PDF, мультимодальное извлечение изображений) без необходимости повторной реализации существующих пакетов.
• Делегирование между агентами (Agent Delegation): специализированные агенты берут на себя узкопрофильные рабочие процессы (например, передача задач веб-поиска через AgentDelegateAction выделенному BrowsingAgent).
• Контроль качества через мок-тестирование: регулярные тесты непрерывной интеграции (CI) проверяют регрессии промптов, действий и стабильность песочницы с помощью детерминированного кэширования пар «промпт-ответ» вместо дорогостоящих обращений к реальным API.

Метод (с ключевыми формулами)

Цикл выполнения OpenHands функционирует как дискретная пошаговая функция, где агент отображает состояние среды $\mathcal{S}$ в действие $a\in \mathcal{A}$: $$a_t=\text{Agent.step}({\mathcal{S}}_t)$$ Здесь состояние объединяет хронологическую историю предшествующих действий и наблюдений: $${\mathcal{S}}_t=\{(a_0,o_0),(a_1,o_1),\dots ,(a_{t-1},o_{t-1})\}\cup {\mathcal{M}}_t$$ где ${\mathcal{M}}_t$ отслеживает вспомогательные метаданные состояния (накопленную стоимость запросов к LLM, стек активного мультиагентного делегирования, параметры конфигурации).

Пространство действий $\mathcal{A}$ включает:

• CmdRunAction(command): выполняет произвольные команды bash в целевой оболочке Linux.
• IPythonRunCellAction(code): выполняет Python-код с сохранением состояния в постоянном ядре Jupyter, предоставляя доступ к AgentSkills.
• BrowseInteractiveAction(code): выполняет примитивы BrowserGym на базе Playwright (click(bid), fill(bid, val), goto(url) и др.).
• AgentDelegateAction(subtask, agent_name): помещает подзадачу в стек агента для вызова специализированного агента.
• AgentFinishAction(): завершает выполнение задачи.

Выполнение происходит внутри защищенной клиент-серверной песочницы Docker. Базовые Docker-контейнеры расширяются сервером OpenHands REST API (runtime.py) и снабжаются двойным тегированием: MD5-хешем содержимого (target_image_repo:target_image_hash_tag) для строгой воспроизводимости и семантическим общим тегом (runtime:oh_v{VERSION}_{BASE_IMAGE}_tag_{IMAGE_TAG}) для кэширования сборок базовых слоев.

Результаты (с важнейшими показателями)

OpenHands оценивает универсальных агентов на 15 бенчмарках в сфере программной инженерии, веб-серфинга и общих задач-ассистентов без индивидуальной адаптации промптов под конкретные бенчмарки:

• SWE-Bench Lite (300 задач, без подсказок): CodeActAgent v1.8 с claude-3-5-sonnet@20240620 достигает показателя решения $26.0\%$ (средняя стоимость $1.10 на задачу), превосходя SWE-Agent ($18.0\%$) и AutoCodeRover ($19.0\%$), приближаясь к Aider ($26.3\%$).
• HumanEvalFix (164 задачи): CodeActAgent v1.5 с gpt-4o-2024-05-13 решает $79.3\%$ в 0-shot сценарии с автоматической самоотладкой (по сравнению с $48.6\%$ у StarCoder2-15B).
• WebArena (812 задач): BrowsingAgent v1.0 достигает $15.5\%$ с claude-3-5-sonnet и $14.8\%$ с gpt-4o, а CodeActAgent v1.8 через механизм делегирования набирает $15.3\%$.
• MiniWoB++ (125 сред): Zero-shot BrowsingAgent v1.0 с gpt-4o набирает $40.8\%$.
• Общие ассистенты и рассуждения (General Assistance & Reasoning):
  • GPQA Diamond: CodeActAgent v1.8 + claude-3-5-sonnet набирает $52.0\%$ (уступая экспертам-людям с их $81.2\%$, но превосходя few-shot CoT GPT-4 с $38.8\%$).
  • GAIA (L1 Validation): GPTSwarm v1.0 с gpt-4o достигает $32.1\%$ (против $13.2\%$ у AutoGPT).
  • AgentBench (подмножество OS): CodeActAgent v1.5 набирает $57.6\%$.
  • MINT (Math / Code): CodeActAgent v1.5 достигает $77.3\%$ в математике и $50.0\%$ в коде.

Ограничения и открытые вопросы

• Редактирование больших файлов: текущие примитивы редактирования испытывают трудности на крупных кодовых базах или длинных исходных файлах, где сдвиг номеров строк приводит к конфликтам правок.
• Мультимодальная интеграция: хотя вспомогательные навыки (parse_image, parse_pdf) извлекают текст или описания изображений с помощью внешних моделей зрения, нативное мультимодальное рассуждение для браузера и терминала пока не объединено до конца.
• Автоматизация рабочих процессов: процессы выполнения по-прежнему в значительной степени зависят от написанных вручную системных промптов и циклов оркестрации агентов, а не от автоматически оптимизируемых графовых архитектур (например, GPTSwarm).