onóna, dil modellerinde ağırlık bağlama maliyetini azaltırken çıktı ifadesini artıran iki tablolu bir parametrelendirme sunar. Transformer, iki gömme tablosunun ortalamasını girdi olarak alır ve çıktı kafası aynı tablolarla tanımlanan softmax dağılımlarını birleştirir. Mevcut gövdeyi değiştirmeden 142M, 330M ve 1B ölçeklerde çeşitli mimarilerde değerlendirilmiştir.
Araştırma, MoE modellerindeki uzmanların ne işe yaradığını incelemek için seyrek otoenkoderları kullanır. Qwen3-30B-A3B üzerinde yapılan analiz, uzmanların Java kodu veya geometri gibi ince görevlerde uzmanlaştığını gösterir. Bu yöntem, uzmanların katkısını yönlendirme frekansından bağımsız olarak ölçer.
arXiv1 dk okuma
1–2 / 2 yayın
Nasıl hazırlıyoruz?
Kaynağı belli. Sınırları açık.
Resmî duyuruları, araştırma makalelerini ve açık kaynak projelerinin sürüm notlarını yapay zekâ ile Türkçe özetliyoruz. Her haberde kaynak bağlantılarına, kullanım alanlarına ve açıklanmayan noktalara yer veriyoruz.
Doğrudan kaynak
Araştırma makalesine, model duyurusuna veya projenin deposuna haberden ulaşabilirsiniz.
Bulgular ve yorumlar
Kaynakta açıklanan sonuçları, olası kullanım alanları ve bilinmeyenlerden ayrı sunuyoruz.
Görsellerin kaynağı
Görsel ve videoların kaynağını belirtiyoruz. Konuyu anlatmak için kullanılan illüstrasyonları da işaretliyoruz.
Araştırma kaynakları
Makaleleri kendiniz keşfedin.
Yeni çalışmalar bulabileceğiniz dizinler ve araştırma laboratuvarları. Bir görsel özet ilginizi çekerse sonuçları özgün makaleden okuyun.