Hybrid Computer Use: Ajanlar için birleşik programatik ve görsel arayüz
Hybrid Computer Use (HCU), genel ajanlar için programatik, semantik ve görsel etkileşimi birleştiren yeni bir arayüz sunar. Ekran görüntüsü bağımlılığını azaltarak daha verimli görev tamamlama hedefler. OSWorld 2.0'da karşılaştırılan sistemler arasında en yüksek puanları alarak kanal seçiminin önemini kanıtlar.
Bu yazıda
Ne değişti?
HCU, kod, erişilebilirlik ve görsel arayüzü tek bir arayüzde birleştirerek ajanların kanal seçme özgürlüğü sağlar.
OSWorld 2.0 testlerinde HCU, karşılaştırılan sistemler arasında en yüksek kısmi ve ikili puanları elde etmiştir.
Neden önemli?
Geleneksel ekran görüntüsü tabanlı ajanlar, insan etkileşimi önceliği nedeniyle verimsizdir. HCU, bilgisayarın semantik ve programatik yeteneklerini doğrudan açığa çıkararak modellerin en uygun kanalı seçmesine olanak tanır. Bu, uzun soluklu profesyonel iş akışlarında daha tutarlı ve hızlı sonuçlar alınmasını sağlar.
Geliştirici için ne anlama geliyor?
Geliştiriciler, ajanların ekran görüntüsü okumak yerine kod ve erişilebilirlik ağacı üzerinden doğrudan etkileşim kurmasını sağlayarak gereksiz tur sayısını azaltabilir. Bu yaklaşım, uzun soluklu görevlerde hata oranını düşürürken sistem kaynaklarını daha verimli kullanır.
Henüz neyi bilmiyoruz?
- Sonuçlar yalnızca OSWorld 2.0 benchmark'ında değerlendirilen modeller için geçerlidir.
- Kanal geçişleri sırasında eski durum eylemlerine karşı koruma mekanizması gerektirir.
Haberin kaynakları
Birincil kaynakHybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agentsarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
