NVIDIA TensorRT Edge-LLM ile kenar cihazlarında yapay zeka geliştirme
NVIDIA, gömülü cihazlar için TensorRT Edge-LLM çalışma zamanını duyurdu. Bu araç, DGX Spark üzerinde model prototipleme ve Jetson Thor gibi platformlara dağıtımı kolaylaştırıyor. trtedge CLI ile Nemotron-3.5 Lightning modeli birkaç komutla çalıştırılabilir. DSpark spekülatif çözümlendirme, üretim hızını önemli ölçüde artırırken bellek kullanımı 27.9GB'de sabit kalıyor.
Bu yazıda
Ne değişti?
trtedge CLI, Nemotron-3.5 Lightning modelini indirir, TensorRT motorlarını derler ve birkaç komutla sohbet oturumu başlatır.
DSpark spekülatif çözümlendirme, HumanEval istemlerinde ortalama üretim hızını 73.4'ten 126.9 token/saniyeye çıkarır.
Neden önemli?
Fiziksel yapay zeka uygulamaları, sıkı bellek, güç ve gecikme bütçeleri içinde çalışan modeller gerektirir. TensorRT Edge-LLM, geliştirme ve dağıtım için aynı çerçeveyi sunarak bu karmaşıklığı azaltır. Bu, sürücü dikkati izleme ve robotik görev planlama gibi kenar ajanlarının geliştirilmesini hızlandırır.
Geliştirici için ne anlama geliyor?
Gömülü geliştiriciler, DGX Spark üzerinde model prototipleme ve Jetson Thor gibi hedeflere dağıtım için tek bir C++ çalışma zamanı kullanabilir. trtedge CLI ile model indirme, motor derleme ve OpenAI uyumlu API sunumu birkaç komutla tamamlanır. Bu akış, kenar cihazlarında düşük gecikme ve sıkı bellek bütçeleriyle çalışan ajanlar geliştiren ekipler için kurulum süresini kısaltır.
Henüz neyi bilmiyoruz?
- Performans verileri yalnızca DGX Spark 64GB ve NVFP4 ayarlarıyla ölçülmüştür.
- Testler tek eşzamanlı istek ve 128 token çıktı sınırıyla sınırlıdır.
Haberin kaynakları
Birincil kaynakRun AI Models for Edge Application Development with Just a Few Commandsdeveloper.nvidia.comYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
