Çok modlu LLM'lerde projeksiyon eğitimi yeniden düşünülüyor
Çok modlu büyük dil modellerinde projeksiyon eğitim aşamasının rolü yeniden değerlendirildi. Araştırma, bu aşamanın yalnızca kaba bir hizalama yaptığını ve farklı veri kümelerinde eğitilen projeksiyonların doğrusal olarak iç içe geçirilebildiğini gösteriyor. PORTAL yöntemi, eşleşmiş veri veya gradyan optimizasyonu gerektirmeden bu aşamayı tamamen atlayarak standart boru hattına yakın performans elde ediyor.
Bu yazıda
Ne değişti?
Projeksiyon eğitiminde yalnızca verinin yüzde 10-20'si kullanıldığında, aşağı akış performans kazanımlarının çoğu geri kazanılır.
PORTAL, eşleşmiş veri veya gradyan optimizasyonu gerektirmeden, yalnızca modallere özgü özet istatistiklerle projeksiyon eğitimini atlar.
Neden önemli?
Projeksiyon eğitiminin kaba hizalama işlevi görmesi, çok modlu model geliştirme süreçlerinde veri ve hesaplama maliyetlerini önemli ölçüde azaltma potansiyeli taşır. Farklı projeksiyonların benzer performans göstermesi, bu aşamanın esnekliğini artırır ve model mimarisinin daha verimli tasarlanmasına olanak tanır.
Geliştirici için ne anlama geliyor?
PORTAL, eşleşmiş görsel-metin verisi veya gradyan tabanlı optimizasyon gerektirmeden yalnızca modallere özgü özet istatistiklerle çalışır. Bu yaklaşım, standart boru hattının 558k çift üzerinde eğitimini altı LLM omurgası ve iki görsel kodlayıcıda yakalar. Geliştiriciler, projeksiyon aşamasını atlayarak eğitim maliyetini düşürebilir; ancak yöntemin genel geçerliliği yalnızca test edilen 16 referans göreviyle sınırlıdır.
Henüz neyi bilmiyoruz?
- Yöntemin genel geçerliliği, test edilen 16 referans görevi ve sınırlı model kombinasyonlarıyla sınırlıdır.
- PORTAL, standart boru hattını yalnızca yedi ayarın üçünde aşar; diğerlerinde ortalama yüzde 98 performans gösterir.
Haberin kaynakları
Birincil kaynakRethinking Projector Training in Multimodal LLMsarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
