PreView: GUI yerelleştirmede ön işlenmiş görünümler ve ipuçları
PreView, karmaşık ekran görüntülerinde küçük kontrolleri bulmak için mevcut GUI yerelleştirme modellerini yeniden eğitmeye gerek kalmadan girdileri iyileştiren bir ön işleyicidir. Sistem, hafif bir yardımcı model kullanarak ekranı kırpıp büyütür ve görsel ile metinsel ipuçları ekler. Bu yaklaşım, beş benchmark'ta Qwen3-VL ve OS-Atlas modellerinin ortalama doğruluğunu artırarak yerelleştirme performansını destekler.
Bu yazıda
Ne değişti?
PreView, mevcut yerelleştirme modellerini yeniden eğitmek zorunda kalmadan girdi özelliklerini iyileştiren hafif bir ön işleyici olarak çalışır.
Yöntem, beş farklı benchmark'ta Qwen3-VL ve OS-Atlas modellerinin ortalama yerelleştirme doğruluğunu artırmayı başarmıştır.
Neden önemli?
GUI yerelleştirme, kalabalık ekran görüntülerinde küçük kontrolleri doğal dil talimatlarıyla eşleştirmeyi gerektirir. PreView, bu zorluğu hafif bir ön işleme katmanı ile çözerek mevcut modellerin sınırlamalarını aşmaya yardımcı olur. Bu, model eğitimi maliyetini düşürürken görsel detayların daha iyi kullanılmasını sağlar.
Geliştirici için ne anlama geliyor?
Geliştiriciler, mevcut GUI yerelleştirme modellerini yeniden eğitmek zorunda kalmadan PreView ön işleyicisini entegre edebilir. Bu yaklaşım, küçük kontrollerin yoğun ekranlarda doğru tespit edilmesini kolaylaştırır ve model girdilerini zenginleştirerek genel sistem performansını artırabilir.
Henüz neyi bilmiyoruz?
- Çalışma henüz 'Work in progress' olarak işaretlenmiştir ve nihai sonuçlar değişebilir.
- Performans iyileşmesi, test edilen üç spesifik model ve beş benchmark ile sınırlıdır.
Haberin kaynakları
Birincil kaynakPreView: Enhancing GUI Grounding with Preprocessed Views and Cuesarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
