TAO: LLM ajan sunucularında araç farkındalıklı zamanlama
TAO, LLM tabanlı ajan hizmetlerinde GPU çıkarımı ve dış CPU araçları arasındaki koordinasyonu iyileştiren bir zamanlama çerçevesidir. Mevcut sistemlerin araç dönüş hazırlığını göz ardı etmesi kaynak israfına yol açar. TAO, dinamik programlama ile oturum seçimini ve yerleşimini kapasite kısıtları altında optimize eder.
Bu yazıda
Ne değişti?
TAO, araç dönüş hazırlığını ve önbellek kredilerini birleştiren bir değer arayüzü ile beklemedeki oturumları yerleştirir.
12 farklı model ve iş yükü kombinasyonunda TAO, en iyi mevcut çözüme göre gecikmeyi ve TTFT değerini önemli ölçüde azaltır.
Neden önemli?
Ajan tabanlı sistemlerde model çıkarımı ile dış araç çağrıları arasındaki senkronizasyon kritik bir darboğazdır. TAO, bu asenkron yapıyı hesaba katarak kaynak kullanımını optimize eder ve genel sistem verimliliğini artırır.
Geliştirici için ne anlama geliyor?
Ajan tabanlı sistemlerde gecikme ve ilk token süresini azaltmak isteyen ekipler, TAO'nun dinamik programlama yaklaşımını kendi altyapılarına entegre edebilir. Bu yöntem, GPU ve CPU kaynaklarını daha verimli kullanarak maliyetleri düşürebilir.
Henüz neyi bilmiyoruz?
- Sonuçlar yalnızca 12 raporlanan model, iş yükü ve eşzamanlılık ayarıyla sınırlıdır.
- Çalışma henüz hakemli bir dergide yayımlanmamış olup arXiv ön baskısı olarak sunulmaktadır.
Haberin kaynakları
Birincil kaynakTAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Servingarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
