OpenHands: 汎用エージェントとしてのAIソフトウェア開発者のためのオープンなプラットフォーム

論文解説

問題と動機

ソフトウェア開発は、人間がデジタル世界と対話するための最も表現力豊かなインターフェースの1つです。大規模言語モデル（LLM）は単一のコードスニペットを生成することはできますが、現実世界のソフトウェアエンジニアリングでは、リポジトリの探索、複数ファイルにまたがるアーキテクチャの変更、bashコマンドの実行、ウェブブラウザを介したドキュメントの閲覧、実行フィードバックを利用した自己デバッグなど、長期的なインタラクションが求められます。

既存のエージェントフレームワークは多くの場合、隔離された実行環境の欠如、ステートレスなコードランナー、マルチモーダルなウェブ閲覧機能の不足、異種ドメイン間にまたがる標準化された評価ツールの不在といった、重要なアーキテクチャ上の課題を抱えていました。OpenHands（旧称OpenDevin）は、サンドボックス化されたランタイム環境、拡張可能なAgent-Computer Interfaces（ACI）、マルチエージェント協調、および標準化されたベンチマークを提供するオープンソースプラットフォーム（MITライセンス）によって、これらの課題を解決します。

主なアイデア

• イベントストリームアーキテクチャ（Event Stream Architecture）: ユーザーの指示、エージェントのアクション、ランタイムの観測結果が時系列のイベントストリームで追跡され、フロントエンド、エージェント、サンドボックス化されたランタイム間の通信を統合します。
• プログラミング言語（PL）プリミティブ: 壊れやすいカスタムAPIの代わりに、エージェントの対話は汎用的なアクション（IPythonRunCellAction、CmdRunAction、およびBrowserGym経由のBrowseInteractiveAction）に基づいています。
• 拡張可能なAgentSkills: IPythonカーネルに事前ロードされたモジュール式のPythonパッケージが、既存のパッケージを再発明することなく、高水準のユーティリティ（ASTに基づく行編集edit_file、PDF解析、マルチモーダル画像抽出など）を提供します。
• エージェントの委譲（Agent Delegation）: 専門エージェントがドメイン固有のワークフローを処理します（例: AgentDelegateActionを介してウェブタスクを専用のBrowsingAgentに委譲）。
• モックテストによる品質管理: 高コストなリアルタイムAPI呼び出しの代わりに、決定論的なプロンプト・レスポンスのキャッシュを使用して、プロンプトのリグレッション、アクション、およびサンドボックスの安定性を定期的な継続的インテグレーション（CI）テストで検証します。

手法（主要な数式を含む）

OpenHandsの実行サイクルは、エージェントが環境の状態 $\mathcal{S}$ をアクション $a\in \mathcal{A}$ にマッピングする離散ステップ関数で動作します。 $$a_t=\text{Agent.step}({\mathcal{S}}_t)$$ ここで、状態は過去のアクションと観測結果の時系列履歴をカプセル化しています。 $${\mathcal{S}}_t=\{(a_0,o_0),(a_1,o_1),\dots ,(a_{t-1},o_{t-1})\}\cup {\mathcal{M}}_t$$ ${\mathcal{M}}_t$ は補助的な状態メタデータ（累積LLMコスト、アクティブなマルチエージェント委譲スタック、設定パラメータ）を追跡します。

アクション空間 $\mathcal{A}$ には以下が含まれます：

• CmdRunAction(command): ターゲットのLinuxシェルで任意のbashコマンドを実行します。
• IPythonRunCellAction(code): 永続的なJupyterカーネル内でステートフルなPythonコードを実行し、AgentSkillsを公開します。
• BrowseInteractiveAction(code): Playwright駆動のBrowserGymプリミティブ（click(bid)、fill(bid, val)、goto(url) など）を実行します。
• AgentDelegateAction(subtask, agent_name): 専門エージェントを呼び出すためにサブゴールをエージェントスタックにプッシュします。
• AgentFinishAction(): 実行を終了します。

実行はセキュアなクライアント・サーバー型のDockerサンドボックス内で行われます。ベースとなるDockerコンテナはOpenHands REST APIサーバー（runtime.py）によって拡張され、厳密な再現性のためのコンテンツMD5ハッシュ（target_image_repo:target_image_hash_tag）と、キャッシュされたベースレイヤービルドのためのセマンティックな汎用タグ（runtime:oh_v{VERSION}_{BASE_IMAGE}_tag_{IMAGE_TAG}）というデュアルタギング機構を使用してタグ付けされます。

結果（主要な数値）

OpenHandsは、ベンチマークごとのプロンプト調整を行うことなく、ソフトウェアエンジニアリング、ウェブブラウジング、汎用アシスタントにわたる15のベンチマークで汎用エージェントを評価しています。

• SWE-Bench Lite（300インスタンス、ヒントなし）: claude-3-5-sonnet@20240620を搭載したCodeActAgent v1.8は、$26.0\%$の解決率（1インスタンスあたり平均コスト1.10ドル）を達成し、SWE-Agent（$18.0\%$）およびAutoCodeRover（$19.0\%$）を上回り、Aider（$26.3\%$）に迫る性能を示しました。
• HumanEvalFix（164インスタンス）: gpt-4o-2024-05-13を搭載したCodeActAgent v1.5は、ゼロショット自己デバッグ設定で$79.3\%$を解決しました（StarCoder2-15Bの$48.6\%$と比較）。
• WebArena（812インスタンス）: BrowsingAgent v1.0はclaude-3-5-sonnetを使用して$15.5\%$、gpt-4oを使用して$14.8\%$を達成し、委譲を用いたCodeActAgent v1.8は$15.3\%$に達しました。
• MiniWoB++（125環境）: gpt-4oを使用したゼロショットBrowsingAgent v1.0が$40.8\%$を達成しました。
• 汎用アシスタントと推論:
  • GPQA Diamond: CodeActAgent v1.8 + claude-3-5-sonnetは$52.0\%$を記録しました（人間の専門家ベースラインの$81.2\%$には及びませんが、Few-shot CoTのGPT-4の$38.8\%$を上回りました）。
  • GAIA（L1 Validation）: gpt-4oを搭載したGPTSwarm v1.0が$32.1\%$に達しました（AutoGPTは$13.2\%$）。
  • AgentBench（OSサブセット）: CodeActAgent v1.5が$57.6\%$を達成しました。
  • MINT（Math / Code）: CodeActAgent v1.5が数学で$77.3\%$、コードで$50.0\%$を記録しました。

限界と未解決の課題

• 長いファイルの編集: 現在の編集プリミティブは、大規模なコードベースや、行番号のずれによって編集の競合が発生する長いソースファイルを扱う際に苦戦します。
• マルチモーダルの統合: ヘルパースキル（parse_image、parse_pdf）は外部の視覚モデルを介してテキストや画像要約を抽出しますが、ブラウザやターミナルのネイティブなマルチモーダル推論はまだ完全に統合されていません。
• ワークフローの自動化: ワークフローは、自動的に最適化されたグラフアーキテクチャ（例: GPTSwarm）ではなく、依然として手作業で作成されたシステムプロンプトやエージェントのオーケストレーションループに大きく依存しています。