LLM Ajan İş Yüklerinde Toplu İşlem Süresini Azaltma
Bu çalışma, LLM ajan iş yüklerinde toplu işlem süresini azaltmak için çıkarım ve çevre koordinasyonunu birleştirir. Hibrit modellerde kaynak ataması ve CAAS sıralaması, 10.4% ile 65.0% arasında süre tasarrufu sağlar.
Bu yazıda
Ne değişti?
Hibrit LLM'lerde KV önbelleği ve tekrarlayan durum için kaynak ataması, paralellik ve yeniden hesaplama dengesini kurar.
CAAS algoritması, uzun zincirleri önceliklendirerek toplu işlemin kuyruk süresini gözlemlenen ilerlemeye göre kısaltır.
Neden önemli?
Ajan tabanlı iş akışlarında çıkarım ve çevre etkileşimi arasındaki bekleme süreleri verimliliği düşürür. Bu koordinasyon, kaynak kullanımını optimize ederek toplam tamamlanma süresini belirgin şekilde kısaltır.
Geliştirici için ne anlama geliyor?
Bu yaklaşım, LLM ajanlarının toplu çalıştırılmasında kaynak atamasını ve görev sıralamasını optimize ederek toplam tamamlanma süresini kısaltır. Özellikle karmaşık ajan iş yüklerinde bekleme sürelerini azaltarak geliştirme döngüsünü hızlandırabilir.
Henüz neyi bilmiyoruz?
- Sonuçlar yalnızca Ling-3.x serisi ve seçili dört benchmark üzerinde test edilmiştir.
- Yöntem, çevre kapasitesinin kısıtlı olduğu senaryolara odaklanmaktadır.
Haberin kaynakları
Birincil kaynakReducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordinationarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
