Transformers v5.19.0 çok modlu gömme ve uzman paralelliği güncellemelerini içeriyor
Transformers v5.19.0, EmbeddingGemma 2 modelini ve uzman paralelliğinde token dağıtımını ekler. Kırıcı değişiklikler arasında MoE router logits çıktılarının standardize edilmesi ve sürekli toplu işlemede 'paged|' öneklerinin kaldırılması yer alır. Ayrıca katman bazlı önbellek yapılandırması ve nicelikli önbellek hatalarının düzeltilmesi ile geliştirme deneyimi iyileştirilir.
Bu yazıda
Ne değişti?
EmbeddingGemma 2, metin, görüntü, ses ve videoyu 768 boyutlu ortak bir vektör uzayına kodlayarak çok modlu arama ve sınıflandırma işlevselliği sunar.
Uzman paralelliğinde token dağıtımı varsayılan hale geldi ve bu sayede uzman paralelliği boyutunun tensor paralelliği boyutuna eşit olma zorunluluğu kaldırıldı.
Neden önemli?
Bu sürüm, çok modlu gömme modellerinin entegrasyonunu kolaylaştırarak farklı veri türleri üzerinde semantik benzerlik ve kümeleme işlemlerini destekler. Uzman paralelliğindeki bağımsızlık, büyük MoE modellerinin dağıtık sistemlerde daha esnek ve verimli bir şekilde çalıştırılmasına olanak tanır.
Geliştirici için ne anlama geliyor?
Uygulama kodlarında dikkatli güncelleme gerektiren kırıcı değişiklikler mevcut. MoE modellerinde router logits artık çıktı sınıflarından okunmalı ve OWLv2 nesne algılama sonuçları değişebilir. Sürekli toplu işleme için 'paged|' öneki kaldırıldığından, dikkat mekanizması ayarları doğrudan 'sdpa' veya 'flash_attention_2' olarak güncellenmelidir.
Henüz neyi bilmiyoruz?
- Kırıcı değişiklikler, eski sürümlerdeki MoE çıktı yapıları ve OWLv2 algılama heuristiklerine bağımlı kodların uyumsuz kalmasına neden olabilir.
- Sürekli toplu işleme iç yapısındaki birleşik önbellek güncellemesi, ayrı güncelleme yollarını kullanan özel kodları etkileyebilir.
Haberin kaynakları
Birincil kaynakRelease v5.19.0github.comYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
