NVIDIA, Dynamo için Kubernetes çalışma zamanını AICR ile doğruluyor
NVIDIA, Dynamo dağıtımını kolaylaştırmak için AI Cluster Runtime (AICR) aracını tanıttı. AICR, GPU sürücüleri, zamanlama ve izleme bileşenlerini sabitlenmiş versiyonlarla paketleyerek Kubernetes üzerinde doğrulanmış bir çalışma zamanı oluşturur. Bu sistem, Dynamo 1.4.2'nin TCP ve ZMQ tabanlı yönlendirme yollarını destekleyerek altyapı bağımlılıklarını yönetir.
Bu yazıda
Ne değişti?
AICR, Dynamo 1.4.2 sürümünü ve GPU sürücüleri gibi bağımlı bileşenleri sabitlenmiş versiyonlarla paketleyerek tekrarlanabilir bir çalışma zamanı sağlar.
Dynamo, Kubernetes üzerinde hem yerel Frontend yönlendirici hem de Gateway API Inference Extension (GAIE) ile entegre iki farklı istek yönlendirme yolu sunar.
Neden önemli?
Kubernetes üzerinde dağıtık çıkarım çerçeveleri, GPU sürücüleri, dinamik kaynak tahsisi ve gang zamanlaması gibi karmaşık altyapı bağımlılıkları gerektirir. AICR, bu bileşenleri tek bir doğrulanmış tarifede birleştirerek platform ekiplerinin dağıtım tutarlılığını sağlar ve geliştiricilerin model entegrasyonuna odaklanmasına olanak tanır.
Geliştirici için ne anlama geliyor?
Platform ekipleri, sürücü ve zamanlayıcı bağımlılıklarını manuel olarak yönetmek yerine AICR tarifelerini kullanarak tekrarlanabilir bir altyapı kurabilir. Bu yaklaşım, DynamoGraphDeployment kurulumundan önce ortamın doğrulanmasını sağlayarak dağıtım hatalarını ve entegrasyon sorunlarını azaltır. Geliştiriciler, tutarlı bir çalışma zamanı üzerinde model davranışlarını test etmeye odaklanabilir.
Henüz neyi bilmiyoruz?
- Yazı, Amazon EKS ve NVIDIA GB200/GB300 donanımları için test edilmiş spesifik bir tarifeye odaklanmaktadır.
- Dynamo 1.5'te planlanan yerel Rust EPP geçişi henüz bu sürümde mevcut değildir.
Haberin kaynakları
Birincil kaynakBuild a Validated Kubernetes Runtime for NVIDIA Dynamodeveloper.nvidia.comYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
