OpenHands: Platform Terbuka untuk Pengembang Perangkat Lunak AI sebagai Agen Generalis

Panduan membaca

Masalah dan motivasi

Pengembangan perangkat lunak merupakan salah satu antarmuka paling ekspresif yang digunakan manusia untuk berinteraksi dengan dunia digital. Kendati model bahasa besar (LLM) dapat menghasilkan cuplikan kode yang terisolasi, rekayasa perangkat lunak di dunia nyata memerlukan interaksi jangka panjang: menavigasi repositori, memodifikasi arsitektur multi-berkas, mengeksekusi perintah bash, membaca dokumentasi melalui peramban web, dan melakukan self-debugging menggunakan umpan balik eksekusi.

Kerangka kerja agen terdahulu kerap mengalami celah arsitektural utama: ketiadaan lingkungan eksekusi terisolasi, runner kode yang bersifat stateless, absennya kapabilitas penelusuran web multimodal, atau tidak adanya perkakas evaluasi terstandardisasi di seluruh domain yang heterogen. OpenHands (sebelumnya OpenDevin) mengatasi kebutuhan ini dengan platform sumber terbuka (berlisensi MIT) yang menawarkan lingkungan runtime tersandbox, Agent-Computer Interfaces (ACI) yang dapat diperluas, koordinasi multi-agen, dan benchmarking terstandardisasi.

Ide utama

• Event Stream Architecture: Instruksi pengguna, aksi agen, dan observasi runtime dilacak secara kronologis dalam event stream yang menyatukan komunikasi antara frontend, agen, dan runtime tersandbox.
• Programming Language (PL) Primitives: Alih-alih API kustom yang rapuh, interaksi agen didasarkan pada aksi-aksi umum: IPythonRunCellAction, CmdRunAction, dan BrowseInteractiveAction (melalui BrowserGym).
• AgentSkills yang Dapat Diperluas: Paket Python modular yang dimuat sebelumnya ke dalam kernel IPython menyediakan utilitas tingkat tinggi (misalnya, pengeditan baris berbasis AST edit_file, penguraian PDF, ekstraksi gambar multimodal) tanpa perlu membuat ulang paket yang sudah ada.
• Delegasi Agen: Agen spesialis menangani alur kerja spesifik domain (misalnya, mendelegasikan tugas web melalui AgentDelegateAction ke BrowsingAgent khusus).
• Kontrol Kualitas melalui Pengujian Tiruan (Mocked Testing): Pengujian integrasi berkelanjutan (CI) rutin menguji regresi, aksi, dan stabilitas sandbox menggunakan caching prompt-response deterministik alih-alih panggilan API real-time yang mahal.

Metode (dengan persamaan kunci)

Siklus eksekusi OpenHands beroperasi pada fungsi langkah diskret di mana agen memetakan status lingkungan $\mathcal{S}$ ke sebuah aksi $a\in \mathcal{A}$: $$a_t=\text{Agent.step}({\mathcal{S}}_t)$$ Di sini, status mencakup riwayat kronologis dari aksi dan observasi terdahulu: $${\mathcal{S}}_t=\{(a_0,o_0),(a_1,o_1),\dots ,(a_{t-1},o_{t-1})\}\cup {\mathcal{M}}_t$$ di mana ${\mathcal{M}}_t$ melacak metadata status tambahan (biaya LLM kumulatif, tumpukan delegasi multi-agen yang aktif, parameter konfigurasi).

Ruang aksi $\mathcal{A}$ mencakup:

• CmdRunAction(command): Menjalankan perintah bash sembarang di shell Linux target.
• IPythonRunCellAction(code): Mengeksekusi kode Python stateful di kernel Jupyter yang persisten, mengekspos AgentSkills.
• BrowseInteractiveAction(code): Mengeksekusi primitif BrowserGym berbasis Playwright (click(bid), fill(bid, val), goto(url), dll.).
• AgentDelegateAction(subtask, agent_name): Mendorong sub-tujuan ke tumpukan agen untuk memanggil spesialis.
• AgentFinishAction(): Menyelesaikan eksekusi.

Eksekusi berlangsung di dalam sandbox Docker klien-server yang aman. Kontainer dasar Docker diperluas dengan server REST API OpenHands (runtime.py), yang ditandai menggunakan mekanisme penandaan ganda (dual-tagging): hash MD5 konten (target_image_repo:target_image_hash_tag) untuk reproduktibilitas ketat, dan tag generik semantik (runtime:oh_v{VERSION}_{BASE_IMAGE}_tag_{IMAGE_TAG}) untuk build lapisan dasar yang di-cache.

Hasil (dengan angka terpenting)

OpenHands mengevaluasi agen generalis pada 15 tolok ukur yang mencakup rekayasa perangkat lunak, penelusuran web, dan asisten umum tanpa penyesuaian prompt khusus per tolok ukur:

• SWE-Bench Lite (300 instans, tanpa petunjuk): CodeActAgent v1.8 dengan claude-3-5-sonnet@20240620 mencapai resolve rate $26,0\%$ (biaya rata-rata $1,10 per instans), mengungguli SWE-Agent ($18,0\%$) dan AutoCodeRover ($19,0\%$), serta mendekati Aider ($26,3\%$).
• HumanEvalFix (164 instans): CodeActAgent v1.5 dengan gpt-4o-2024-05-13 menyelesaikan $79,3\%$ dalam konfigurasi 0-shot self-debugging (dibandingkan dengan StarCoder2-15B sebesar $48,6\%$).
• WebArena (812 instans): BrowsingAgent v1.0 mencapai $15,5\%$ menggunakan claude-3-5-sonnet dan $14,8\%$ menggunakan gpt-4o, sementara CodeActAgent v1.8 melalui delegasi mencapai $15,3\%$.
• MiniWoB++ (125 lingkungan): Zero-shot BrowsingAgent v1.0 dengan gpt-4o mencapai $40,8\%$.
• Bantuan Umum & Penalaran:
  • GPQA Diamond: CodeActAgent v1.8 + claude-3-5-sonnet meraih skor $52,0\%$ (melampaui baseline manusia ahli sebesar $81,2\%$, tetapi melampaui few-shot CoT GPT-4 sebesar $38,8\%$).
  • GAIA (L1 Validation): GPTSwarm v1.0 dengan gpt-4o mencapai $32,1\%$ ($13,2\%$ untuk AutoGPT).
  • AgentBench (subset OS): CodeActAgent v1.5 mencapai $57,6\%$.
  • MINT (Matematika / Kode): CodeActAgent v1.5 menyentuh $77,3\%$ pada matematika dan $50,0\%$ pada kode.

Keterbatasan dan pertanyaan terbuka

• Pengeditan Berkas Panjang: Primitif pengeditan saat ini mengalami kesulitan saat menangani basis kode besar atau berkas sumber panjang di mana pergeseran nomor baris menimbulkan konflik pengeditan.
• Integrasi Multimodal: Meskipun keterampilan pembantu (parse_image, parse_pdf) mengekstrak teks atau ringkasan gambar melalui model visi eksternal, penalaran multimodal peramban dan terminal secara bawaan belum sepenuhnya terintegrasi.
• Otomatisasi Alur Kerja: Alur kerja masih sangat bergantung pada prompt sistem manual dan loop orkestrasi agen ketimbang arsitektur graf yang dioptimalkan secara otomatis (misalnya, GPTSwarm).