Agent Substrate: Kubernetes'te Ajan Ölçeklemesi İçin Açık Kaynak Çözüm
Agent Substrate, Kubernetes üzerinde çalışan yapay zeka ajanları için sıcak işçi Pod havuzlarında çoklu oturum yönetimi sağlar. Boşta kalan ajanlar bellek ve dosya sistemi durumuyla birlikte kontrol noktasına alınır ve serbest işçilere geri yüklenir. NVIDIA Dynamo ile entegrasyonu, çıkarım sinyalleri sayesinde ajan yaşam döngüsünü GPU yüküne göre dinamik olarak ayarlar.
Bu yazıda
Ne değişti?
Agent Substrate, boşta kalan ajan oturumlarını bellek ve dosya sistemi durumuyla birlikte kontrol noktasına alarak sıcak işçi havuzlarında çoklu kullanır.
NVIDIA Dynamo, ilk token süresi ve GPU doyma sinyallerini Agent Substrate'e ileterek ajanların askıya alınma veya yeniden başlatılma zamanlamasını optimize eder.
Neden önemli?
Kubernetes, geleneksel uzun ömürlü servisler için tasarlanmıştır; ancak ajanlar kısa adımlar arasında uzun süreler boşta kalır. Bu durum, her oturum için ayrı Pod tutmanın maliyetli veya her adımda soğuk başlangıç yapmanın yavaş olmasına neden olur. Agent Substrate, bu verimsizliği ortadan kaldırarak kaynak kullanımını optimize eder.
Geliştirici için ne anlama geliyor?
Geliştiriciler, Kubernetes üzerinde çalışan ajan ortamlarını ayrı Pod'lar yerine sıcak havuzlarda çoklu kullanabilir. Bu yaklaşım, soğuk başlangıç gecikmelerini azaltır ve kaynak verimliliğini artırır. Ancak API'ler hâlâ değişiyor ve GPU desteği yeniden inşa ediliyor, bu da üretim ortamlarında dikkatli entegrasyon gerektirir.
Henüz neyi bilmiyoruz?
- API'ler hâlâ değişiyor ve GPU desteği yeni DRA altyapısı üzerinde yeniden inşa ediliyor.
- Dynamo entegrasyonunun bazı kısımları deneysel nitelikte olup üretim ortamında tam kararlılık sunmuyor.
Haberin kaynakları
Birincil kaynakAgent Substrate: Advancing Kubernetes for Agents at Scaledeveloper.nvidia.comYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
