OpenHands: Genel Uzman Ajanlar Olarak Yapay Zeka Yazılım Geliştiricileri İçin Açık Bir Platform

Okuma rehberi

Problem ve motivasyon

Yazılım geliştirme, insanların dijital dünyayla etkileşim kurduğu en dışavurumcu arayüzlerden biridir. Büyük dil modelleri (LLM'ler) izole kod parçacıkları üretebilse de gerçek dünya yazılım mühendisliği uzun soluklu bir etkileşim gerektirir: kod depolarında gezinme, çok dosyalı mimarileri değiştirme, bash komutları yürütme, web tarayıcıları üzerinden belgeleri okuma ve çalıştırma geri bildirimlerini kullanarak kendi kendini hata ayıklama (self-debugging).

Önceki ajan çatıları genellikle temel mimari eksikliklerden muzdaripti: yalıtılmış çalıştırma ortamlarının eksikliği, durum bilgisini tutmayan (stateless) kod çalıştırıcıları, çok modlu web tarama yeteneklerinin bulunmaması veya heterojen alanlar arasında standartlaştırılmış değerlendirme araçlarının olmaması. OpenHands (eski adıyla OpenDevin), korumalı alan çalıştırma ortamları, genişletilebilir Ajan-Bilgisayar Arayüzleri (ACI), çoklu ajan koordinasyonu ve standartlaştırılmış kıyaslama testleri sunan açık kaynaklı bir platformla (MIT lisanslı) bu ihtiyacı karşılamaktadır.

Temel fikirler

• Olay Akışı Mimarisi (Event Stream Architecture): Kullanıcı talimatları, ajan eylemleri ve çalışma zamanı gözlemleri; ön uçlar, ajanlar ve korumalı çalışma zamanları arasındaki iletişimi birleştiren bir olay akışında kronolojik olarak izlenir.
• Programlama Dili (PL) Primitifleri: Kırılgan özel API'ler yerine, ajan etkileşimleri genel eylemlere dayandırılır: IPythonRunCellAction, CmdRunAction ve BrowseInteractiveAction (BrowserGym aracılığıyla).
• Genişletilebilir AgentSkills: IPython çekirdeğine önceden yüklenmiş modüler bir Python paketi, mevcut paketleri yeniden icat etmeden üst düzey yardımcı programlar (örn. AST tabanlı satır düzenleme edit_file, PDF ayrıştırma, çok modlu görsel çıkarma) sağlar.
• Ajan Yetkilendirmesi (Agent Delegation): Uzman ajanlar, alana özgü iş akışlarını yürütür (örn. AgentDelegateAction aracılığıyla web görevlerini özel bir BrowsingAgent'a devretmek).
• Sahte Testler Yoluyla Kalite Kontrolü (Quality Control via Mocked Testing): Rutin sürekli entegrasyon (CI) testleri; pahalı gerçek zamanlı API çağrıları yerine deterministik istem-yanıt önbelleklemesini kullanarak regresyonları, eylemleri ve korumalı alan kararlılığını test eder.

Yöntem (ana denklemlerle)

OpenHands yürütme döngüsü, ajanın bir ortam durumunu $\mathcal{S}$ bir eyleme $a\in \mathcal{A}$ eşlediği ayrık bir adım fonksiyonu üzerinde çalışır: $$a_t=\text{Agent.step}({\mathcal{S}}_t)$$ Burada durum, önceki eylemlerin ve gözlemlerin kronolojik geçmişini kapsar: $${\mathcal{S}}_t=\{(a_0,o_0),(a_1,o_1),\dots ,(a_{t-1},o_{t-1})\}\cup {\mathcal{M}}_t$$ burada ${\mathcal{M}}_t$ yardımcı durum meta verilerini (kümülatif LLM maliyeti, aktif çoklu ajan yetkilendirme yığını, yapılandırma parametreleri) takip eder.

Eylem uzayı $\mathcal{A}$ şunları içerir:

• CmdRunAction(command): Hedef Linux kabuğunda rastgele bash komutları çalıştırır.
• IPythonRunCellAction(code): Kalıcı bir Jupyter çekirdeğinde AgentSkills bileşenlerini sunarak durum bilgisi tutan Python kodunu yürütür.
• BrowseInteractiveAction(code): Playwright odaklı BrowserGym primitiflerini (click(bid), fill(bid, val), goto(url) vb.) yürütür.
• AgentDelegateAction(subtask, agent_name): Bir uzmanı çağırmak için ajan yığınına bir alt hedef ekler.
• AgentFinishAction(): Yürütmeyi sonlandırır.

Yürütme, güvenli bir istemci-sunucu Docker korumalı alanında gerçekleşir. Temel Docker konteynerleri bir OpenHands REST API sunucusu (runtime.py) ile genişletilir ve ikili etiketleme mekanizması kullanılarak etiketlenir: katı tekrarlanabilirlik için bir içerik MD5 özeti (target_image_repo:target_image_hash_tag) ve önbelleğe alınmış temel katman derlemeleri için anlamsal genel bir etiket (runtime:oh_v{VERSION}_{BASE_IMAGE}_tag_{IMAGE_TAG}).

Sonuçlar (en önemli sayılarla)

OpenHands; yazılım mühendisliği, web'de gezinme ve genel asistanlık alanlarını kapsayan 15 kıyaslama testinde, kıyaslama testine özel istem uyarlaması yapmadan genel uzman ajanları değerlendirir:

• SWE-Bench Lite (300 örnek, ipucu olmadan): claude-3-5-sonnet@20240620 ile CodeActAgent v1.8, %$26,0$ çözüm oranına (örnek başına ortalama 1,10 $ maliyet) ulaşarak SWE-Agent'ı (%$18,0$) ve AutoCodeRover'ı (%$19,0$) geride bırakmış, Aider'a (%$26,3$) yaklaşmıştır.
• HumanEvalFix (164 örnek): gpt-4o-2024-05-13 ile CodeActAgent v1.5, 0-shot kendi kendini hata ayıklama kurulumunda %$79,3$ çözer (StarCoder2-15B'nin %$48,6$'lık oranına kıyasla).
• WebArena (812 örnek): BrowsingAgent v1.0, claude-3-5-sonnet kullanarak %$15,5$ ve gpt-4o kullanarak %$14,8$ elde ederken, yetkilendirme aracılığıyla CodeActAgent v1.8 %$15,3$'e ulaşır.
• MiniWoB++ (125 ortam): gpt-4o ile zero-shot BrowsingAgent v1.0 %$40,8$ elde eder.
• Genel Asistanlık ve Akıl Yürütme:
  • GPQA Diamond: CodeActAgent v1.8 + claude-3-5-sonnet %$52,0$ puan alır (uzman insan taban çizgisi olan %$81,2$'nin gerisinde kalsa da few-shot CoT GPT-4'ün %$38,8$'lik oranını geride bırakır).
  • GAIA (L1 Doğrulama): gpt-4o ile GPTSwarm v1.0 %$32,1$'e ulaşır (AutoGPT için %$13,2$).
  • AgentBench (OS alt kümesi): CodeActAgent v1.5 %$57,6$ elde eder.
  • MINT (Matematik / Kod): CodeActAgent v1.5 matematikte %$77,3$ ve kodda %$50,0$'a ulaşır.

Sınırlılıklar ve açık sorular

• Uzun Dosya Düzenlemeleri: Mevcut düzenleme primitifleri, büyük kod tabanlarını veya satır numarası kaymalarının düzenleme çakışmalarına yol açtığı uzun kaynak dosyalarını işlerken zorlanmaktadır.
• Çok Modlu Entegrasyon: Yardımcı beceriler (parse_image, parse_pdf) harici görme modelleri aracılığıyla metin veya görsel özetleri çıkarsa da yerel tarayıcı ve terminal çok modlu akıl yürütmesi henüz tam olarak birleştirilmemiştir.
• İş Akışı Otomasyonu: İş akışları, otomatik olarak optimize edilmiş grafik mimarileri (örn. GPTSwarm) yerine hâlâ büyük ölçüde elle hazırlanmış sistem istemlerine ve ajan koordinasyon döngülerine dayanmaktadır.