Uzun bağlam çıkarımı için seyrek dikkat eş tasarımı
Bu çalışma, uzun bağlam çıkarımında seyrek dikkat mekanizmasının NVIDIA GPU'larında verimli çalışması için donanım-donanım eş tasarımını inceler. İndeksleyici, Top-k ve ana dikkat aşamalarının maliyet dağılımını analiz eder. FP16 epilog, blok bazlı seçim ve entegre çekirdekler gibi pratik kılavuzlar sunar. 128K token'da dikkat katman maliyetini azaltmak için kritik tasarım parametrelerini belirler.
Bu yazıda
Ne değişti?
İndeksleyici, grup boyutu ve spekülatif taslak uzunluğuna bağlı aritmetik yoğunlukla çalışır; FP16 epilog Tensor Core verimliliğini artırır.
Top-k seçiminin indeksleyici çekirdeğine entegre edilmesi ve önceki adımın tahmini olarak kullanılması, kodlama sırasında 2.1x ile 2.4x hızlanma sağlar.
Neden önemli?
Uzun bağlamda yoğun dikkat, her sorgunun tüm anahtarlarla puanlanmasını gerektirir ve maliyeti bağlam uzunluğuyla orantılı olarak artırır. Seyrek dikkat, bu maliyeti indeksleyiciye taşır. Doğru donanım uyumu, 128K token gibi uzunluklarda prefill süresinin büyük kısmını oluşturan dikkat maliyetini yönetilebilir hale getirir.
Geliştirici için ne anlama geliyor?
Geliştiriciler, indeksleyici başlık boyutunu 128 veya 256 olarak seçmeli ve FP16 epilog kullanmalıdır. Blok bazlı seçim, ana dikkatin anahtarları toplu almasını ve sorgular arasında paylaşmasını sağlar. Bu tasarım kararları, uzun bağlamda gecikmeyi ve bellek trafiğini doğrudan azaltır.
Henüz neyi bilmiyoruz?
- Ölçümler NVIDIA GPU donanımına ve FP8 çekirdeklerine özgüdür; farklı mimarilerde sonuçlar değişebilir.
- Analiz, eğitim sırasında seyrekliğin modele yerleştirildiği senaryolara odaklanır; eğitim sonrası yöntemleri kapsamaz.
Haberin kaynakları
Birincil kaynakCo-Designing Sparse Attention for Efficient Long-Context Inferencedeveloper.nvidia.comYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.


