VLM'lerde Uzamsal Temsiller Sözel Önyargıların Altında Kalıyor
Araştırma, VLM'lerin uzamsal ilişkileri sözel bilgilerden daha az sadık şekilde kodladığını gösteriyor. EICS metriği ve CASP-VL benchmark'ı, bu sistematik hatayı ortaya çıkarıyor. Küresel temsilde uzamsal bilgi kaybı, çıktı tabanlı testlerde görünmez kalıyor.
Ne değişti?
EICS metriği ve CASP-VL benchmark'ı, VLM'lerde kavramların kontrollü müdahalelerle tutarlılığını test etmek için tasarlandı.
Uzamsal ilişkiler, cümle küresel temsilde birleştirildiğinde kaybolur; bu durum çıktı tabanlı değerlendirmede gizli kalır.
Neden önemli?
Bu bulgu, VLM'lerin kompozisyonel görevlerde yüksek skor almasına rağmen içsel temsil katmanında uzamsal ilişkileri koruyamadığını kanıtlıyor. Bu, mevcut değerlendirme metriklerinin modelin gerçek yetkinliğini yansıtmadığını gösteriyor.
Geliştirici için ne anlama geliyor?
Geliştiriciler, VLM çıktılarının doğru görünmesi durumunda bile içsel uzamsal ilişkilerin kaybolabileceğini bilmeli. Bu durum, karmaşık görsel akıl yürütme görevlerinde modelin güvenilmezliğini gösterir ve temsil katmanında düzeltme veya yeni mimari yaklaşımlar gerektirebilir.
Henüz neyi bilmiyoruz?
- Araştırma, belirli VLM mimarileri ve Visual Genome kaynaklı sahnelerle sınırlıdır.
- Bulgular, küresel temsildeki kayıplara odaklanır; yerel token seviyesindeki detaylar tam açıklanmamıştır.
Asıl kaynağa dön.
Birincil kaynakComputer Science > Computation and Languagearxiv.org Resmî duyuruarXiv / cs.AI + cs.CLResmî kaynak sayfasını açBu analiz, bağlantılı birincil kaynak üzerinden yapay zeka desteğiyle hazırlanmıştır. Kaynakta yer alan bulgular, geliştirici etkisi ve sınırlamalar birlikte sunulur. Kapak görseli, konuyu anlatan editoryal bir illüstrasyondur. Ayrıntılar ve en güncel bilgiler için asıl kaynağı inceleyin.
