Ana içeriğe geç

V-JEPA-LM: Video dinamiklerini metin hizalı temsillerin ötesinde okuyan model

V-JEPA-LM, video dinamiklerini metin hizalı temsillerin ötesinde okuyan bir modeldir. Donmuş V-JEPA kodlayıcısının alt uzayındaki dinamikleri karşıt denetimle dil modeline aktarır. Tek aşamalı eğitimde 4.53M örnek ve 32 token kullanarak, çok aşamalı rakiplere kıyasla daha verimli bir performans gösterir.

Yayın 1 dk okuma
Kaynak: arXiv
Bu yazıda
Öne çıkan noktalar

Ne değişti?

  • 4B parametreli model, 11 video benchmark'unda 72.1 ortalama skor alarak en iyi açık 4B modelin 61.1 skorunu geride bırakmıştır.

  • Karşıt denetim, eşleşen bütçede ortalama 4.5 puan ve doğal benchmark'lardaki hız sorularında 38 puanlık bir iyileşme sağlamıştır.

Bağlam

Neden önemli?

Mevcut video-dil modelleri, altyazılardaki sınırlı öznitelikleri geri getirmeye odaklanırken dinamikleri göz ardı eder. V-JEPA-LM, dinamiklerin donmuş kodlayıcıda paylaşılan bir alt uzayda bulunduğunu gösterir ve bu bilgiyi dil modeline aktararak statik temsillerin sınırlarını aşar.

Kullanım alanları

Geliştirici için ne anlama geliyor?

Geliştiriciler, donmuş V-JEPA özelliklerini doğrudan kullanarak dinamik okuma yeteneğini artıran tek aşamalı bir eğitim stratejisi uygulayabilir. Bu yaklaşım, çok aşamalı ve yüksek token gerektiren mevcut açık video LLM'lerine kıyasla daha düşük veri ve hesaplama bütçesiyle benzer veya üstün performans elde etme potansiyeli sunar. Ancak, bu sonuçların yalnızca belirli bir kodlama ve denetim kombinasyonunda geçerli olduğu unutulmamalıdır.

Açık kalan sorular

Henüz neyi bilmiyoruz?

  • Sonuçlar, 4.53M örnek ve 32 görsel token ile sınırlı bir eğitim bütçesinde elde edilmiştir.
  • Performans farkı, karşılaştırılan açık modellerin farklı eğitim aşamaları ve token sayıları nedeniyle doğrudan karşılaştırılabilir olmayabilir.
Kaynaklar

Haberin kaynakları

Birincil kaynakV-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representationsarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı aç
Yayın tarihleri
blue'og yayını
Kaynak yayını
Bu yazı nasıl hazırlandı?

Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.

← Tüm haberler

bluedev Asistanı

Ürünleri ve çalışmalarımızı keşfedin.

Neyi çözmek istersiniz?

İhtiyacınızı yazın; ilgili ürünleri ve çalışmalarımızı kaynaklarıyla birlikte inceleyelim.

Yanıtlar kaynak kataloğundan hazırlanır. Yapay zekâ desteği yalnız izninizle kullanılır.

Diğer görevler ve ayarlar

İki ürünü karşılaştırabilir veya fikrinizi iletişim formuna aktarabileceğiniz bir ihtiyaç özetine dönüştürebilirsiniz.

Kaynak kataloğu

AI desteği şu anda kullanılamıyor. Doğrulanmış projeleri keşfedebilir ve proje özeti hazırlayabilirsiniz.

Bu site görüşmenizi kalıcı olarak saklamaz.Gizlilik