MoE-Context: Modelin yalnızca ihtiyacı olanı gösteren yeni bağlam yöntemi
MoE-Context, yapay zeka ajanlarının her adımda tüm geçmişini okuması yerine, hızlı bir evet/hayır geçişiyle yalnızca o an ihtiyaç duyulan bağlam bloklarını seçmesini sağlar. Kalan bilgiler silinmeden tek satırlık notlar olarak saklanır. Qwen3-1.7B modeliyle yapılan testte, yalnızca gerekli bloğun gösterilmesi doğruluğu 120 üzerinden 93'ten 119'a çıkardı. Ancak modelin kendi seçim mekanizması zayıf kaldı ve basit anahtar kelime araması bu görevde mükemmel sonuç verdi.
Bu yazıda
Ne değişti?
Sadece gerekli bloğun gösterilmesi, sentetik bir arama görevinde doğruluğu 120 üzerinden 93'ten 119'a yükseltti.
Gözetimli doğrusal sonda doğruluğu 110'a çıkardı ancak bu yöntem ikinci bir göreve aktarılamadı.
Neden önemli?
Yapay zeka ajanları genellikle her adımda tüm geçmişlerini okur, bu da verimsizdir. MoE-Context, bağlamı bloklara ayırarak yalnızca gerekli olanı modele sunar ve kalanı geri çağrılabilir notlar olarak saklar. Bu yaklaşım, tek bir anahtar-değer önbelleği üzerinde maskeleme kullanarak çalışır ve veri silinmesini önler. Yöntem, bağlam yönetimini daha verimli hale getirme potansiyeli taşır.
Geliştirici için ne anlama geliyor?
Geliştiriciler, tek bir anahtar-değer önbelleği üzerinde gizli blokları maskeleyerek bağlam yönetimi yapabilir. Bu yöntem, başarısız denemeleri geri alma ve yeni bağlam oluşturmaya gerek kalmadan alt ajanlar çalıştırma gibi pratik kullanım kalıplarını mümkün kılar. Ancak modelin kendi seçim mekanizması zayıf olduğundan, bu yaklaşımın genel geçerliliği sınırlıdır.
Henüz neyi bilmiyoruz?
- Modelin kendi bağlam seçim mekanizması zayıf olduğu için sonuçlar genel geçerli değildir.
- Doğrusal sonda yöntemi yalnızca tek bir görevde işe yaradı ve aktarılabilirlik gösterilemedi.
Haberin kaynakları
Birincil kaynakMoE-Context: Show the Model Only What It Needsarxiv.orgYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
