OpenHands: Una plataforma abierta para desarrolladores de software de IA como agentes generalistas

Guía de lectura

Problema y motivación

El desarrollo de software se encuentra entre las interfaces más expresivas a través de las cuales los humanos interactúan con el mundo digital. Aunque los modelos de lenguaje de gran tamaño (LLMs) pueden generar fragmentos de código aislados, la ingeniería de software en el mundo real exige una interacción de largo horizonte: navegar por repositorios, modificar arquitecturas compuestas por múltiples archivos, ejecutar comandos de bash, consultar documentación mediante navegadores web y depurar automáticamente a partir de la retroalimentación de la ejecución.

Los frameworks de agentes anteriores solían adolecer de importantes carencias arquitectónicas: ausencia de entornos de ejecución aislados, ejecutores de código sin estado, carencia de capacidades de navegación web multimodal o falta de herramientas estandarizadas de evaluación en dominios heterogéneos. OpenHands (anteriormente OpenDevin) aborda esta necesidad mediante una plataforma de código abierto (con licencia MIT) que ofrece entornos de ejecución aislados en sandbox, interfaces agente-computadora (ACI) extensibles, coordinación multiagente y benchmarking estandarizado.

Ideas clave

• Arquitectura de flujo de eventos (Event Stream Architecture): Las instrucciones del usuario, las acciones del agente y las observaciones del entorno de ejecución se registran cronológicamente en un flujo de eventos que unifica la comunicación entre las interfaces de usuario (frontends), los agentes y los entornos de ejecución en sandbox.
• Primitivas de lenguajes de programación (PL): En lugar de recurrir a APIs personalizadas y frágiles, las interacciones del agente se fundamentan en acciones genéricas: IPythonRunCellAction, CmdRunAction y BrowseInteractiveAction (a través de BrowserGym).
• AgentSkills extensibles: Un paquete modular de Python precargado en el kernel de IPython que proporciona utilidades de alto nivel (p. ej., edición de líneas basada en AST mediante edit_file, procesamiento de PDFs, extracción multimodal de imágenes) sin necesidad de reinventar paquetes existentes.
• Delegación de agentes: Agentes especializados gestionan flujos de trabajo específicos de un dominio (p. ej., delegar tareas web mediante AgentDelegateAction a un BrowsingAgent dedicado).
• Control de calidad mediante pruebas simuladas (mocked): Las pruebas rutinarias de integración continua evalúan regresiones en los prompts, acciones y la estabilidad del sandbox utilizando almacenamiento en caché determinista de pares prompt-respuesta en lugar de realizar costosas llamadas a APIs en tiempo real.

Método (con las ecuaciones clave)

El ciclo de ejecución de OpenHands opera sobre una función de pasos discretos donde el agente mapea un estado del entorno $\mathcal{S}$ a una acción $a\in \mathcal{A}$: $$a_t=\text{Agent.step}({\mathcal{S}}_t)$$ Aquí, el estado encapsula el historial cronológico de acciones y observaciones previas: $${\mathcal{S}}_t=\{(a_0,o_0),(a_1,o_1),\dots ,(a_{t-1},o_{t-1})\}\cup {\mathcal{M}}_t$$ donde ${\mathcal{M}}_t$ registra metadatos auxiliares del estado (coste acumulado del LLM, pila de delegación multiagente activa, parámetros de configuración).

El espacio de acciones $\mathcal{A}$ incluye:

• CmdRunAction(command): Ejecuta comandos arbitrarios de bash en la shell de Linux objetivo.
• IPythonRunCellAction(code): Ejecuta código Python con estado en un kernel interactivo persistente de Jupyter, exponiendo las AgentSkills.
• BrowseInteractiveAction(code): Ejecuta primitivas de BrowserGym impulsadas por Playwright (click(bid), fill(bid, val), goto(url), etc.).
• AgentDelegateAction(subtask, agent_name): Añade un subobjetivo a la pila de agentes para invocar a un especialista.
• AgentFinishAction(): Concluye la ejecución.

La ejecución se lleva a cabo dentro de un sandbox de Docker seguro con arquitectura cliente-servidor. Los contenedores base de Docker se extienden mediante un servidor de API REST de OpenHands (runtime.py), etiquetado mediante un mecanismo de doble etiquetado: un hash MD5 del contenido (target_image_repo:target_image_hash_tag) para garantizar una estricta reproducibilidad, y una etiqueta semántica genérica (runtime:oh_v{VERSION}_{BASE_IMAGE}_tag_{IMAGE_TAG}) para construcciones en caché de capas base.

Resultados (con las cifras más importantes)

OpenHands evalúa agentes generalistas a lo largo de 15 benchmarks que abarcan ingeniería de software, navegación web y asistencia general sin necesidad de adaptar los prompts para cada benchmark:

• SWE-Bench Lite (300 instancias, sin pistas): CodeActAgent v1.8 con claude-3-5-sonnet@20240620 alcanza una tasa de resolución del $26,0\%$ (coste medio de 1,10 $ por instancia), superando a SWE-Agent ($18,0\%$) y AutoCodeRover ($19,0\%$), y aproximándose a Aider ($26,3\%$).
• HumanEvalFix (164 instancias): CodeActAgent v1.5 con gpt-4o-2024-05-13 resuelve el $79,3\%$ en una configuración de autodepuración zero-shot (en comparación con el $48,6\%$ de StarCoder2-15B).
• WebArena (812 instancias): BrowsingAgent v1.0 obtiene un $15,5\%$ utilizando claude-3-5-sonnet y un $14,8\%$ con gpt-4o, mientras que CodeActAgent v1.8 mediante delegación alcanza un $15,3\%$.
• MiniWoB++ (125 entornos): BrowsingAgent v1.0 zero-shot con gpt-4o alcanza el $40,8\%$.
• Asistencia general y razonamiento:
  • GPQA Diamond: CodeActAgent v1.8 + claude-3-5-sonnet obtiene un $52,0\%$ (por debajo de la línea base humana experta de $81,2\%$, pero superando al GPT-4 con CoT few-shot que obtuvo un $38,8\%$).
  • GAIA (Validación L1): GPTSwarm v1.0 con gpt-4o alcanza un $32,1\%$ ($13,2\%$ para AutoGPT).
  • AgentBench (subconjunto de SO): CodeActAgent v1.5 alcanza el $57,6\%$.
  • MINT (Matemáticas / Código): CodeActAgent v1.5 logra un $77,3\%$ en matemáticas y un $50,0\%$ en código.

Limitaciones y preguntas abiertas

• Edición de archivos extensos: Las primitivas de edición actuales tienen dificultades al manejar bases de código grandes o archivos fuente extensos donde los desplazamientos en los números de línea provocan conflictos de edición.
• Integración multimodal: Aunque ciertas habilidades auxiliares (parse_image, parse_pdf) extraen texto o resúmenes visuales mediante modelos de visión externos, el razonamiento multimodal nativo entre el navegador y la terminal aún no está completamente unificado.
• Automatización de flujos de trabajo: Los flujos de trabajo continúan dependiendo en gran medida de prompts del sistema diseñados manualmente y bucles de orquestación de agentes, en lugar de arquitecturas basadas en grafos optimizadas de forma automática (p. ej., GPTSwarm).