Reshard kolektifiyle pekiştirmeli öğrenme ağırlık aktarımı hızlandırıldı
NVIDIA, pekiştirmeli öğrenme sırasında eğitim ve çıkarım GPU'ları arasındaki ağırlık aktarımını hızlandıran Reshard kolektifini tanıttı. Bu yöntem, DTensor soyutlaması sayesinde yalnızca gerekli veriyi taşır. NeMo RL üzerinde yapılan testlerde, büyük modeller için 2.7x ile 5.7x arasında hızlanma sağlanmıştır.
Bu yazıda
Ne değişti?
Reshard, ağırlık aktarımını DTensor formatına dönüştürerek yalnızca teorik minimum veriyi taşır ve gereksiz ağ trafiğini ortadan kaldırır.
NVIDIA DGX H100 ve GB200 sistemlerinde, geleneksel yönteme kıyasla 2.7x ile 5.7x arasında değişen bir hızlanma elde edilmiştir.
Neden önemli?
Günümüzün en büyük açık ağırlıklı modelleri için tek bir refit işlemi yaklaşık 10 TB veri gerektirir. Bu devasa veri hacmi, eğitim döngüsünde ciddi bir darboğaz oluşturur. Reshard, bu yükü azaltarak büyük ölçekli RL eğitimlerinin verimliliğini artırır.
Geliştirici için ne anlama geliyor?
NeMo RL kullanan ekipler, refit_transport ayarını nccl_reshard olarak değiştirerek bu hızlanmayı doğrudan uygulayabilir. Ancak bu iyileşme, test edilen DGX H100 ve GB200 sistemleri ile belirli paralel yapılar için geçerlidir. Farklı donanımlarda veya karmaşık dağıtım senaryolarında performansın aynı seviyede kalacağı garanti edilmez.
Henüz neyi bilmiyoruz?
- Performans sonuçları yalnızca NVIDIA DGX H100 ve DGX GB200 sistemlerinde ölçülmüştür.
- Küçük ağırlıklar için hâlâ eski yöntem kullanıldığından, tam kapsama için hibrit bir yaklaşım gereklidir.
Haberin kaynakları
Birincil kaynakAccelerating Reinforcement Learning Weight Refit with the Reshard Collectivedeveloper.nvidia.comYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
