Transformers v5.20.0 yeni MoE modelleri ve dağıtık eğitim iyileştirmeleri getiriyor
Transformers v5.20.0, Meta'nın Muse Spark Open ve InclusionAI'nin Ling 3.0 Flash gibi yeni MoE modellerini yerel olarak destekliyor. Dağıtık eğitimde FSDP ve TP kontrol noktalarının taşınabilirliği iyileştirilirken, eski önbellek yöntemleri kaldırıldı ve minimum kernels sürümü 0.17.2'ye yükseltildi.
Bu yazıda
Ne değişti?
Muse Spark Open, 816B toplam parametreli ve 1,048,576 token bağlam penceresine sahip çok modlu bir MoE modelidir.
Eski önbellek yöntemleri kaldırıldı ve minimum kernels sürümü 0.17.2 olarak güncellendi; bu durum kod uyumluluğunu etkiler.
Neden önemli?
Yeni modellerin yerel desteği, geliştiricilerin karmaşık çok modlu ve MoE mimarilerini ek paketlere bağımlı kalmadan entegre etmesini sağlar. Dağıtık eğitimde kontrol noktası taşınabilirliği, büyük ölçekli eğitim iş yüklerinin farklı donanım yapılandırmaları arasında esnekliğini artırır.
Geliştirici için ne anlama geliyor?
Yeni modeller yerel kod ile doğrudan yüklenebilir; dağıtık eğitimde FSDP ve TP kontrol noktaları farklı yapılandırmalar arasında taşınabilir. Kırıcı değişiklikler nedeniyle eski önbellek yöntemleri ve çapraz model içe aktarmaları güncellenmeli.
Henüz neyi bilmiyoruz?
- EP ile çıkarım hızında geri dönüşler olduğu ve düzeltmelerin sürmekte olduğu belirtiliyor.
- Kırıcı değişiklikler nedeniyle mevcut kod tabanında uyumluluk sorunları yaşanabilir.
Haberin kaynakları
Birincil kaynakRelease v5.20.0github.comYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
