onóna: Bağlı Çıktı Kafa ile İkiz Gömme Parametrelendirmesi
onóna, dil modellerinde ağırlık bağlama maliyetini azaltırken çıktı ifadesini artıran iki tablolu bir parametrelendirme sunar. Transformer, iki gömme tablosunun ortalamasını girdi olarak alır ve çıktı kafası aynı tablolarla tanımlanan softmax dağılımlarını birleştirir. Mevcut gövdeyi değiştirmeden 142M, 330M ve 1B ölçeklerde çeşitli mimarilerde değerlendirilmiştir.
Bu yazıda
Ne değişti?
onóna, iki gömme tablosunun ortalamasını girdi olarak alıp aynı tablolarla softmax dağılımlarını birleştiren bir parametrelendirme sunar.
Eşleşen token bütçelerinde onóna, 12 karşılaştırmanın 11'inde doğrulama kaybını ve dış perplexiteyi düşürür.
Neden önemli?
Standart bağlı çıktı kafası tekil softmax ile sınırlıdır. onóna, girdi-çıktı ağırlık paylaşımını koruyarak bu sınırlamayı aşar. Mevcut transformer gövdelerini değiştirmeden uygulanabilir olması, mevcut altyapılarda düşük maliyetle ifade gücü artışı sağlar.
Geliştirici için ne anlama geliyor?
Geliştiriciler, mevcut transformer gövdelerini değiştirmeden bu parametrelendirmeyi uygulayabilir. Ek tablo ve projeksiyon maliyeti, tekil softmax kısıtlamasını aşarak çıktı ifadesini artırır. Ön hesaplanabilir kapı ağırlıkları, çıkarım sırasında ek gecikme yaratmadan esneklik sağlar.
Henüz neyi bilmiyoruz?
- 1B ölçekli MoE modelinde kayıp metriklerinde istisna gözlemlenmiştir.
- Maliyet, bir ek gömme tablosu ve bir ek sözlük projeksiyonu gerektirir.
Haberin kaynakları
Birincil kaynakon\'ona: Twin Embeddings with Tied Unembeddingsarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
