ATEST: GPU yüküne duyarlı test zamanı ölçekleme
ATEST, LLM çıkarımında sabit örnek bütçelerinin GPU yükü ve enerji maliyetini göz ardı ettiğini gösterir. ATEST-Online, çevrimdışı kalibrasyon gerektirmeden canlı GPU koşullarını izleyerek örnek üretimini dinamik olarak durdurur. Bu yaklaşım, enerji bütçesini aşmadan en yüksek doğruluğu korur.
Bu yazıda
Ne değişti?
ATEST-Online, GPU yükünü izleyerek ek örneklerin beklenen değerini ve anlık maliyetini birlikte değerlendirir.
GSM8K verisinde yüksek yük altında 60.0% doğruluk elde edilirken, kalibreli modda 42.4% erteleme görülür.
Neden önemli?
Sabit örnek bütçeleri, GPU yükü arttıkça enerji maliyetini 4.1 katına kadar çıkarabilir. ATEST, bu değişken maliyeti hesaba katarak kaynak verimliliğini artırır ve enerji bütçesini aşmadan doğruluğu korur.
Geliştirici için ne anlama geliyor?
Geliştiriciler, sabit örnek bütçesi yerine GPU yüküne göre dinamik durma kuralı uygulayarak enerji maliyetini düşürebilir. ATEST-Online, çevrimdışı kalibrasyon gerektirmeden canlı koşullara uyum sağlar; ancak kısa görevlerde kuyruk gecikmesi artabilir.
Henüz neyi bilmiyoruz?
- Değerlendirmeler kontrollü değişen yük altında NVIDIA A100 üzerinde yapılmıştır; gerçek dünya karmaşıklığı farklılık gösterebilir.
- Online kontrol, kısa görevlerde daha yüksek kuyruk gecikmesi ve düşük geçişkenlik ile sonuçlanabilir.
Haberin kaynakları
Birincil kaynakATEST: Adaptive Resource-Aware Test-Time Scaling for LLM Inferencearxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
