Ana içeriğe geç

Uzun bağlam çıkarımı için seyrek dikkat eş tasarımı

Bu çalışma, uzun bağlam çıkarımında seyrek dikkat mekanizmasının NVIDIA GPU'larında verimli çalışması için donanım-donanım eş tasarımını inceler. İndeksleyici, Top-k ve ana dikkat aşamalarının maliyet dağılımını analiz eder. FP16 epilog, blok bazlı seçim ve entegre çekirdekler gibi pratik kılavuzlar sunar. 128K token'da dikkat katman maliyetini azaltmak için kritik tasarım parametrelerini belirler.

Yayın 1 dk okuma
Kaynak: NVIDIA Developer AI
Bu yazıda
Öne çıkan noktalar

Ne değişti?

  • İndeksleyici, grup boyutu ve spekülatif taslak uzunluğuna bağlı aritmetik yoğunlukla çalışır; FP16 epilog Tensor Core verimliliğini artırır.

  • Top-k seçiminin indeksleyici çekirdeğine entegre edilmesi ve önceki adımın tahmini olarak kullanılması, kodlama sırasında 2.1x ile 2.4x hızlanma sağlar.

Bağlam

Neden önemli?

Uzun bağlamda yoğun dikkat, her sorgunun tüm anahtarlarla puanlanmasını gerektirir ve maliyeti bağlam uzunluğuyla orantılı olarak artırır. Seyrek dikkat, bu maliyeti indeksleyiciye taşır. Doğru donanım uyumu, 128K token gibi uzunluklarda prefill süresinin büyük kısmını oluşturan dikkat maliyetini yönetilebilir hale getirir.

Kullanım alanları

Geliştirici için ne anlama geliyor?

Geliştiriciler, indeksleyici başlık boyutunu 128 veya 256 olarak seçmeli ve FP16 epilog kullanmalıdır. Blok bazlı seçim, ana dikkatin anahtarları toplu almasını ve sorgular arasında paylaşmasını sağlar. Bu tasarım kararları, uzun bağlamda gecikmeyi ve bellek trafiğini doğrudan azaltır.

Açık kalan sorular

Henüz neyi bilmiyoruz?

  • Ölçümler NVIDIA GPU donanımına ve FP8 çekirdeklerine özgüdür; farklı mimarilerde sonuçlar değişebilir.
  • Analiz, eğitim sırasında seyrekliğin modele yerleştirildiği senaryolara odaklanır; eğitim sonrası yöntemleri kapsamaz.
Kaynaklar

Haberin kaynakları

Birincil kaynakCo-Designing Sparse Attention for Efficient Long-Context Inferencedeveloper.nvidia.com
Yayın tarihleri
blue'og yayını
Kaynak yayını
Bu yazı nasıl hazırlandı?

Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.

← Tüm haberler

bluedev Asistanı

Ürünleri ve çalışmalarımızı keşfedin.

Neyi çözmek istersiniz?

İhtiyacınızı yazın; ilgili ürünleri ve çalışmalarımızı kaynaklarıyla birlikte inceleyelim.

Yanıtlar kaynak kataloğundan hazırlanır. Yapay zekâ desteği yalnız izninizle kullanılır.

Diğer görevler ve ayarlar

İki ürünü karşılaştırabilir veya fikrinizi iletişim formuna aktarabileceğiniz bir ihtiyaç özetine dönüştürebilirsiniz.

Kaynak kataloğu

AI desteği şu anda kullanılamıyor. Doğrulanmış projeleri keşfedebilir ve proje özeti hazırlayabilirsiniz.

Bu site görüşmenizi kalıcı olarak saklamaz.Gizlilik