Seyrek otoenkoderlar MoE uzmanlarının ince görevlerdeki uzmanlaşmasını ortaya koyuyor
Araştırma, MoE modellerindeki uzmanların ne işe yaradığını incelemek için seyrek otoenkoderları kullanır. Qwen3-30B-A3B üzerinde yapılan analiz, uzmanların Java kodu veya geometri gibi ince görevlerde uzmanlaştığını gösterir. Bu yöntem, uzmanların katkısını yönlendirme frekansından bağımsız olarak ölçer.