Ana içeriğe geç

NVIDIA Vera Rubin NVL72, MLPerf Endpoints v1.0'da Ajan İncelemesinde Öne Çıkıyor

MLPerf Endpoints v1.0 ön sonuçları, NVIDIA Vera Rubin NVL72'nin ajan tabanlı çıkarım iş yüklerinde GB300 NVL72'ye göre kilovat başına 10 kata varan veri akışı sağladığını gösteriyor. Bu performans, HBM4 bellek ve altıncı nesil NVLink ile desteklenen donanım ile bağlam farkında sunum yazılımlarının birleşiminden kaynaklanıyor.

Yayın 1 dk okuma
Kaynak: NVIDIA Developer AI
Bu yazıda
Öne çıkan noktalar

Ne değişti?

  • Vera Rubin NVL72, GB300 NVL72'ye kıyasla kilovat başına 5 ile 10 kat daha yüksek veri akışı sağlıyor.

  • Model özgü çekirdekler ve spekülatif doğrulama, ardışık çözümleme adımlarını azaltarak gecikmeyi düşürüyor.

Bağlam

Neden önemli?

Ajan tabanlı yapay zeka uygulamaları, artan sohbet geçmişleri ve karmaşık araç çağrıları nedeniyle çıkarım sistemlerinden yüksek kapasite ve düşük gecikme bekliyor. Bu benchmark, güç verimliliği ile kullanıcı yanıt süresi arasındaki dengeyi ölçerek altyapı planlaması için kritik bir referans noktası sunuyor.

Kullanım alanları

Geliştirici için ne anlama geliyor?

Gelişmiş önbellekleme ve dağıtık sunum teknikleri, çok turlu ajan iş yüklerinde gereksiz hesaplamaları azaltarak aynı güç bütçesiyle daha fazla kullanıcıya hizmet verilebilmesine olanak tanır.

Açık kalan sorular

Henüz neyi bilmiyoruz?

  • Vera Rubin sonuçları geçici olup MLCommons doğrulaması ve akran incelemesi bekleniyor.
  • Karşılaştırmalar yalnızca belirli eşzamanlılık ve interaktivite eşiklerinde geçerli olan ölçümlere dayanıyor.
Kaynaklar

Haberin kaynakları

Birincil kaynakNVIDIA Vera Rubin NVL72 Leads Agentic Inference Performance on MLPerf Endpoints v1.0developer.nvidia.com
Yayın tarihleri
blue'og yayını
Kaynak yayını
Bu yazı nasıl hazırlandı?

Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.

← Tüm haberler

bluedev Asistanı

Ürünleri ve çalışmalarımızı keşfedin.

Neyi çözmek istersiniz?

İhtiyacınızı yazın; ilgili ürünleri ve çalışmalarımızı kaynaklarıyla birlikte inceleyelim.

Yanıtlar kaynak kataloğundan hazırlanır. Yapay zekâ desteği yalnız izninizle kullanılır.

Diğer görevler ve ayarlar

İki ürünü karşılaştırabilir veya fikrinizi iletişim formuna aktarabileceğiniz bir ihtiyaç özetine dönüştürebilirsiniz.

Kaynak kataloğu

AI desteği şu anda kullanılamıyor. Doğrulanmış projeleri keşfedebilir ve proje özeti hazırlayabilirsiniz.

Bu site görüşmenizi kalıcı olarak saklamaz.Gizlilik