NEO-VLA: Kodlayıcısız Görüntü-Dil-Eylem Politikaları
NEO-VLA, görsel kodlayıcıları atlayarak görüntüleri hafif konvolüsyon katmanlarıyla tokenize eder ve bunları dil ile birlikte omurga boyunca evrilmesine izin verir. Bu yapı, eylem uzmanının farklı derinliklerdeki görsel temsillere erişmesini sağlar. Kontrollü testlerde kodlayıcı tabanlı modellerden üstün performans gösterir ve dağıtım kaymalarında daha sağlam kontrol sunar.
Bu yazıda
Ne değişti?
NEO-VLA, kodlayıcı içermeyen yapısıyla kontrollü karşılaştırmalarda kodlayıcı tabanlı modellerden daha iyi performans gösterir.
Katman bazlı inceleme, eylem için kritik görsel sinyallerin son temsilde değil, daha önceki katmanlarda zirve yaptığını ortaya koyar.
Neden önemli?
Geleneksel VLA modelleri görsel sinyalleri sabit kodlayıcılarla sıkıştırırken, manipülasyon için kritik olan yerel geometri ve derinlik bilgisi kaybolabilir. NEO-VLA, bu sinyallerin hesaplama hiyerarşisi boyunca erişilebilir kalmasını sağlayarak, gövde kontrolünde daha hassas ve dayanıklı kararlar alınmasına olanak tanır.
Geliştirici için ne anlama geliyor?
Geliştiriciler, manipülasyon görevlerinde hassas görsel sinyalleri korumak için sabit kodlayıcı çıkışları yerine katman içi temsil kullanmayı değerlendirebilir. Bu yaklaşım, dağıtım kaymalarında daha sağlam kontrol sağlayabilir; ancak mevcut kodlayıcı tabanlı mimarilerle doğrudan karşılaştırılabilirlik ve ölçekleme etkileri sınırlı verilerle desteklenmektedir.
Henüz neyi bilmiyoruz?
- Sonuçlar kontrollü karşılaştırmalara dayanır ve tam ince ayar farkı kapatmaz; ek ölçekleme bu boşluğu telafi edemez.
- Çalışma manipülasyon odaklıdır ve farklı gövde kontrol senaryolarına genellenebilirliği kaynakta ayrıntılı olarak test edilmemiştir.
Haberin kaynakları
Birincil kaynakFrom Pixels to Actions - Towards Native Vision-Language-Action Policiesarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
