N-gram hafızalarında iki bitlik kodlama ile tablo sıkıştırması
Bu çalışma, büyük dil modellerindeki n-gram arama tablolarını iki bitlik kodlarla sıkıştıran Conditional Program (CP) yöntemini tanıtıyor. CP, yalnızca istenen satırları yeniden oluşturarak tam tablo depolama ihtiyacını ortadan kaldırıyor. Gaussian trellis tabanlı bu yaklaşım, DeepSeek'te depolamayı 203GB'dan 51GB'a indiriyor.
Bu yazıda
Ne değişti?
CP yöntemi, 2-bit yuvarlamaya kıyasla çıktı KL değerini yüzde 41 ile 63 aralığında azaltır.
DeepSeek modelinde tablo depolama alanı 203GB'dan 51GB'a düşürülerek GPU üzerinde daha büyük iş yükleri için yer açılır.
Neden önemli?
Koşullu hafıza, dil modellerinin kapasitesini seçici arama ile artırır ancak tam tablo erişimi gerektirir. CP yöntemi, satırları kısa kodlarla temsil ederek bu darboğazı çözer. Paylaşılan trellis yapısı, eşit depolama bütçesinde diğer yöntemlerden daha iyi performans gösterir.
Geliştirici için ne anlama geliyor?
Bu yöntem, GPU belleğinde n-gram tablosu tutan sistemlerde depolama maliyetini ciddi ölçüde düşürür. DeepSeek örneğinde tablo boyutu 203GB'dan 51GB'a iner. Bu tasarruf, aynı donanımda daha büyük iş yüklerinin çalıştırılmasına olanak tanır. Ancak yöntemin genel geçerliliği, test edilen üç aileyle sınırlıdır.
Henüz neyi bilmiyoruz?
- Yöntemin performansı yalnızca üç farklı n-gram ailesi üzerinde test edilmiştir.
- Sonuçlar, tablonun GPU üzerinde tutulması koşuluna bağlıdır.
Haberin kaynakları
Birincil kaynakN-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Modelsarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
![[Uncaptioned image]](/_next/image?url=https%3A%2F%2Farxiv.org%2Fhtml%2F2610.22328v1%2Fteaser.png&w=3840&q=75)
