FOAM, SOAP optimizörünü pratik ve ölçeklenebilir hale getiriyor
FOAM, SOAP optimizörünün maliyetli bileşenlerini sadeleştirerek AdamW verimliliğine yakın bir performans sunar. Çıktı tarafı ön koşullandırmayı atar ve yoğun ikinci an yerine satır-sütun istatistiklerine dayalı bir tahminci kullanır. 124M-760M parametreli LLM ön eğitiminde SOAP ve Muon ile eşdeğer doğrulama kaybı elde edilir.
Bu yazıda
Ne değişti?
FOAM, çıktı tarafındaki Kronecker faktörünü atarak bellek kullanımını azaltır ve bir özdekompozisyon adımını tamamen kaldırır.
Yeni faktörleşmiş Adam-anı tahmincisi, K-FAC varsayımı altında SOAP'ın yoğun ikinci anını tam olarak geri kazanır.
Neden önemli?
İkinci sıralı optimizörler, AdamW'ye göre daha hızlı yakınsama vaat etse de pratikte yüksek bellek ve hesaplama maliyeti taşır. FOAM, bu maliyeti önemli ölçüde azaltarak SOAP'ın avantajlarını korur. Bu yaklaşım, transformer eğitiminde optimizör seçimi için yeni bir denge noktası oluşturur.
Geliştirici için ne anlama geliyor?
Geliştiriciler, SOAP'ın yüksek bellek ve hesaplama maliyetini kabul etmeden benzer doğrulama kaybı elde edebilir. FOAM, SOAP'ın yarısı kadar optimizör durumu kullanır ve Muon sınıfı duvar saati süresinde çalışır. Bu, orta ölçekli dil modelleri için ikinci sıralı optimizörleri pratik hale getirebilir.
Henüz neyi bilmiyoruz?
- Sonuçlar 124M ile 760M parametre aralığındaki modellerde test edildi; daha büyük ölçeklerde performans garanti edilmiyor.
- Yöntemin etkinliği, Hessian'ın çıktı tarafında diyagonal veya neredeyse diyagonal olması varsayımına dayanıyor.
Haberin kaynakları
Birincil kaynakFactored One-sided Adam-Moment for Practical and Scalable SOAParxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
