JOVE: Kaynak Farkındalıklı LLM Görev Grafikleri İçin Ortak Yürütme ve Doğrulama
JOVE, heterojen LLM'ler üzerinde karmaşık akıl yürütme görevlerini dağıtan ve doğrulama maliyetini optimize eden çevrimiçi bir çerçevedir. Yürütme ve doğrulama kararlarını karmaşık tamsayılı programlama ile birleştirerek bütçe ve gecikme kısıtlarını dengeler.
Ne değişti?
JOVE, her sorgu için karmaşık tamsayılı doğrusal programlar çözerek yürütme ve doğrulama kararlarını eşzamanlı olarak optimize eder.
Dört akıl yürütme benchmark'ında standart baz çizgilerine kıyasla ortalama maliyeti ve gecikmeyi en az 3.17 kat azaltır.
Neden önemli?
Karmaşık sorguların DAG'lere ayrılması, paralel çalıştırma ile gecikmeyi azaltır. JOVE, doğrulamanın asenkron doğasını ve öğrenme değerini hesaba katarak uzun vadeli bütçe optimizasyonu sağlar.
Geliştirici için ne anlama geliyor?
Geliştiriciler, karmaşık LLM iş akışlarında maliyet ve gecikme dengesini kurarken JOVE'nin karmaşık tamsayılı programlama yaklaşımını temel alabilir. Bu, özellikle bütçe kısıtlı ortamlarda kaynak tahsisini optimize etmek için yeni bir referans mimari sunar.
Henüz neyi bilmiyoruz?
- Sonuçlar yalnızca dört akıl yürütme benchmark'ında test edilmiştir.
- Sistem, LLM hizmet kalitesinin başlangıçta bilinmeyen stokastik doğasına dayanır.
Asıl kaynağa dön.
01 / BİRİNCİL KAYNAKComputer Science > Artificial Intelligencearxiv.org 02 / RESMÎ DUYURU KAYNAĞIarXiv / cs.AI + cs.CLResmî kaynak sayfasını açBu analiz, bağlantılı birincil kaynak üzerinden yapay zeka desteğiyle hazırlanmıştır. Kaynakta yer alan bulgular, geliştirici etkisi ve sınırlamalar birlikte sunulur. Editoryal görsel blue'og'a özgü soyut bir yorumdur. Ayrıntılar ve en güncel bilgiler için asıl kaynağı inceleyin.