Görsel kodlayıcılar, görüntüler arasındaki boşlukta eğitilmeli
Görsel üretken modellerde, eğitim görüntüleri arasındaki kod uzayının açıkça denetlenmesi öneriliyor. InterpTok, bu boşlukta kalan karışımları doğal görüntülere dönüştürmek için ayrıştırıcı tabanlı bir yöntem sunuyor. Yaklaşım, interpolasyon kalitesini üç kat artırırken difüzyon modelinin FID skorunu 11.61'den 8.48'e düşürüyor.
Bu yazıda
Ne değişti?
InterpTok, eğitim örnekleri arasındaki kod karışımlarını doğal görüntülere dönüştürmek için ayrıştırıcı tabanlı bir denetim kullanır.
Yöntem, interpolasyon kalitesini üç kat artırırken difüzyon modelinin FID skorunu 11.61'den 8.48'e düşürüyor.
Neden önemli?
Mevcut yöntemler, üretilen kodların eğitim kodlarından farklı olduğunu göz ardı ediyor. Bu durum, üretilen görüntülerde kusurlara yol açıyor. Çalışma, kod uzayındaki bu boşluğun açıkça denetlenmesi gerektiğini savunuyor ve InterpTok ile bunu pratik bir şekilde gösteriyor.
Geliştirici için ne anlama geliyor?
Görsel üretim modelleri geliştiren ekipler, InterpTok yaklaşımını inceleyerek kod uzayındaki boşlukları daha iyi yönetebilir. Bu yöntem, difüzyon modelinin eğitim süresini yarıya indirirken FID skorunu 11.61'den 8.48'e düşürüyor. Ancak sonuçlar, MAETok tabanlı bir mimari ve belirli bir difüzyon dönüştürücüyle sınırlıdır; farklı mimarilerde aynı etkiyi garanti etmez.
Henüz neyi bilmiyoruz?
- Sonuçlar, MAETok tabanlı bir mimari ve belirli bir difüzyon dönüştürücüyle sınırlıdır.
- Yöntem, eğitim örnekleri arasındaki kod uzayına odaklanır; genel görüntü üretim performansını garanti etmez.
Haberin kaynakları
Birincil kaynakImage Tokenizers Should Be Trained Between Imagesarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
