Latent Sparse Attention: Aşırı uzun bağlamda alt-karelik dikkat
Latent Sparse Attention (LSA), 1M token üzeri aşırı uzun bağlamda tam dikkatin maliyetini azaltmak için anahtarları hiyerarşik kümeleyen bir yöntem sunar. D-LSA ve N-LSA varyantları, prefill ve decode süreçlerinde önemli hızlanma sağlarken doğruluğu korur. Bu yaklaşım, uzun ufuklu ajan görevleri için pratik bir dikkat mekanizması oluşturur.
Bu yazıda
Ne değişti?
LSA, anahtarları öğrenilmiş gizli bir uzayda hiyerarşik olarak kümeleyerek her anahtarı puanlamak yerine küme hiyerarşisini puanlar.
D-LSA, GLM-5.3-FLASH modelinde 10M token'da prefill aşamasında 22.7x, decode aşamasında 4.6x hızlanma sağlar.
Neden önemli?
Ajan tabanlı iş akışları açık uçlu bilimsel çalışmalar gibi uzun ufuklu görevlere kayarken, 1M token üzeri bağlamda tam dikkat hesaplaması maliyetli hale gelir. LSA, mevcut indeksleme yöntemlerinin karelik maliyetini veya doğruluk kaybını aşarak, modellerin aşırı uzun bağlamdan verimli şekilde faydalanmasını sağlayan pratik bir çözüm sunar.
Geliştirici için ne anlama geliyor?
Uzun bağlam gerektiren ajan iş akışlarında dikkat maliyetini düşürmek için mevcut modelleri damıtma yoluyla güncelleme veya sıfırdan eğitme seçenekleri sunar. Bu yaklaşım, 10M token gibi aşırı uzun metinlerde prefill ve decode süreçlerini hızlandırarak donanım kaynaklarını daha verimli kullanmayı mümkün kılar.
Henüz neyi bilmiyoruz?
- Sonuçlar GLM-5.3-FLASH ve QWEN-3.8-27B modelleri üzerinde 10M ve 128k token ölçeklerinde test edilmiştir.
- N-LSA varyantı yalnızca 128k token'da tam dikkat doğruluğunu yakaladığı ve 1.6x eğitim hızlanma sağladığı belirtilmiştir.
Haberin kaynakları
Birincil kaynakLatent Sparse Attention: Towards Subquadratic Ultra-Long Context Attentionarxiv.orgYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
