V-JEPA-LM: Video dinamiklerini metin hizalı temsillerin ötesinde okuyan model
V-JEPA-LM, video dinamiklerini metin hizalı temsillerin ötesinde okuyan bir modeldir. Donmuş V-JEPA kodlayıcısının alt uzayındaki dinamikleri karşıt denetimle dil modeline aktarır. Tek aşamalı eğitimde 4.53M örnek ve 32 token kullanarak, çok aşamalı rakiplere kıyasla daha verimli bir performans gösterir.
Bu yazıda
Ne değişti?
4B parametreli model, 11 video benchmark'unda 72.1 ortalama skor alarak en iyi açık 4B modelin 61.1 skorunu geride bırakmıştır.
Karşıt denetim, eşleşen bütçede ortalama 4.5 puan ve doğal benchmark'lardaki hız sorularında 38 puanlık bir iyileşme sağlamıştır.
Neden önemli?
Mevcut video-dil modelleri, altyazılardaki sınırlı öznitelikleri geri getirmeye odaklanırken dinamikleri göz ardı eder. V-JEPA-LM, dinamiklerin donmuş kodlayıcıda paylaşılan bir alt uzayda bulunduğunu gösterir ve bu bilgiyi dil modeline aktararak statik temsillerin sınırlarını aşar.
Geliştirici için ne anlama geliyor?
Geliştiriciler, donmuş V-JEPA özelliklerini doğrudan kullanarak dinamik okuma yeteneğini artıran tek aşamalı bir eğitim stratejisi uygulayabilir. Bu yaklaşım, çok aşamalı ve yüksek token gerektiren mevcut açık video LLM'lerine kıyasla daha düşük veri ve hesaplama bütçesiyle benzer veya üstün performans elde etme potansiyeli sunar. Ancak, bu sonuçların yalnızca belirli bir kodlama ve denetim kombinasyonunda geçerli olduğu unutulmamalıdır.
Henüz neyi bilmiyoruz?
- Sonuçlar, 4.53M örnek ve 32 görsel token ile sınırlı bir eğitim bütçesinde elde edilmiştir.
- Performans farkı, karşılaştırılan açık modellerin farklı eğitim aşamaları ve token sayıları nedeniyle doğrudan karşılaştırılabilir olmayabilir.
Haberin kaynakları
Birincil kaynakV-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representationsarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
