NVIDIA Vera Rubin NVL72, MLPerf Endpoints v1.0'da Ajan İncelemesinde Öne Çıkıyor
MLPerf Endpoints v1.0 ön sonuçları, NVIDIA Vera Rubin NVL72'nin ajan tabanlı çıkarım iş yüklerinde GB300 NVL72'ye göre kilovat başına 10 kata varan veri akışı sağladığını gösteriyor. Bu performans, HBM4 bellek ve altıncı nesil NVLink ile desteklenen donanım ile bağlam farkında sunum yazılımlarının birleşiminden kaynaklanıyor.
Bu yazıda
Ne değişti?
Vera Rubin NVL72, GB300 NVL72'ye kıyasla kilovat başına 5 ile 10 kat daha yüksek veri akışı sağlıyor.
Model özgü çekirdekler ve spekülatif doğrulama, ardışık çözümleme adımlarını azaltarak gecikmeyi düşürüyor.
Neden önemli?
Ajan tabanlı yapay zeka uygulamaları, artan sohbet geçmişleri ve karmaşık araç çağrıları nedeniyle çıkarım sistemlerinden yüksek kapasite ve düşük gecikme bekliyor. Bu benchmark, güç verimliliği ile kullanıcı yanıt süresi arasındaki dengeyi ölçerek altyapı planlaması için kritik bir referans noktası sunuyor.
Geliştirici için ne anlama geliyor?
Gelişmiş önbellekleme ve dağıtık sunum teknikleri, çok turlu ajan iş yüklerinde gereksiz hesaplamaları azaltarak aynı güç bütçesiyle daha fazla kullanıcıya hizmet verilebilmesine olanak tanır.
Henüz neyi bilmiyoruz?
- Vera Rubin sonuçları geçici olup MLCommons doğrulaması ve akran incelemesi bekleniyor.
- Karşılaştırmalar yalnızca belirli eşzamanlılık ve interaktivite eşiklerinde geçerli olan ölçümlere dayanıyor.
Haberin kaynakları
Birincil kaynakNVIDIA Vera Rubin NVL72 Leads Agentic Inference Performance on MLPerf Endpoints v1.0developer.nvidia.comYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.


