PyTorch 2.15.0 dağıtık eğitimde kararlılık ve hız getiriyor
PyTorch 2.15.0, yeniden yazılan NCCL arka ucunu varsayılan yapıp dağıtık eğitimde kararlılığı artırıyor. Apple Silicon için FP8 desteği ve NVIDIA Blackwell'de NVFP4 hızlandırması getirildi. Ayrıca FSDP2'de bellek kontrolü ve hata yönetimi iyileştirildi.
Bu yazıda
Ne değişti?
Yeniden yazılan NCCL arka ucu varsayılan hale geldi ve asılı kalma durumlarında hata kaydı oluşturan bir uçuş kaydedici içeriyor.
Apple Silicon için FP8 desteği ve MoE çözümlendirmede 1.32–1.34x token/s hızlanma sağlayan yeni gruplu_mm çekirdekleri eklendi.
Neden önemli?
Bu sürüm, büyük ölçekli dağıtık eğitim iş yüklerinde NCCL kararlılığını artırırken, Apple Silicon ve NVIDIA Blackwell gibi yeni donanımlarda verimliliği yükseltiyor. FSDP2'deki hassas bellek kontrolü, karmaşık model mimarilerinin daha verimli eğitilmesine olanak tanıyor.
Geliştirici için ne anlama geliyor?
Geliştiriciler, dağıtık eğitim kodlarında nccl-legacy kullanımını sonlandırmalı ve FSDP2'de reduce_dtype parametresini açıkça tanımlamalıdır. Ayrıca, iç içe girmiş tensör içeren eski kontrol noktalarını yüklemek için safe_globals mekanizmasını kullanmaları gerekir.
Henüz neyi bilmiyoruz?
- nccl-legacy ve TORCH_DIST_USE_NCCL2=0 geri dönüş yolları bir sonraki sürümde kaldırılacak.
- PyTorch 2.15 ile kaydedilen dağıtık kontrol noktaları, 2.14 ve öncesi sürümler tarafından yüklenemiyor.
Haberin kaynakları
Birincil kaynakPyTorch 2.15.0 Releasegithub.comYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
