Soft-MTP, MTP eğitimindeki gürültülü gradyanı tek satırla ortadan kaldırıyor
Jayden Teoh, standart Çoklu Token Tahmini (MTP) eğitimindeki bir kusuru tespit edip Soft-MTP ile düzeltiyor. Yöntem, gürültülü kalan gradyanı ayıklayarak yalnızca faydalı KL öz-distrilasyon sinyalini geri yayıyor. 1.2B parametreye kadar ölçeklerde standart MTP'den daha iyi performans gösteriyor.
Bu yazıda
Ne değişti?
Standart MTP eğitimi, modelin kendi tahminine çeken KL terimi ve düşük sinyal-gürültü oranlı bir kalan terimden oluşur.
KL gradyan-kurtarma hilesi, kelime dağarcığı büyüklüğündeki logit matrisleri gerektirmeden KL sinyalini doğrudan geri yayar.
Neden önemli?
MTP, dil modellerinde hem eğitimi hem de spekülatif çözümlenme hızını iyileştiren kritik bir bileşen haline geldi. Teoh'un bulgusu, mevcut MTP mimarilerindeki gizli bir optimizasyon hatasını ortaya koyuyor. Bu hata, model ölçeklendikçe öğrenme sinyalini boğuyor ve kaynak israfına yol açıyor.
Geliştirici için ne anlama geliyor?
Soft-MTP, standart MTP eğitimine tek satırlık bir kod değişikliği ekleyerek gürültülü kalan gradyanı ortadan kaldırır. Bu yöntem, 167M ile 1.2B parametre aralığında daha düşük NTP perplexity ve daha hızlı spekülatif çözümlenme sağlar. Ek parametre veya ölçülebilir maliyet gerektirmez.
Henüz neyi bilmiyoruz?
- Sonuçlar 167M ile 1.2B parametre aralığındaki denemelerle sınırlıdır.
- Yöntemin çok daha büyük ölçeklerdeki davranışı bu ön baskıda test edilmemiştir.
Haberin kaynakları
Birincil kaynakMulti-Token Prediction Done Rightarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
