Transformers ile 32 GB RAM'de 180B MoE çıkarımı
Tarek Ziadé, 180B parametreli MoE modellerini 32 GB RAM'li Mac'te Transformers kütüphanesiyle çalıştırmak için uzman akışlama mimarisi geliştirdi. Diskten okunan uzmanlar sınırlı bir önbellek havuzunda tutularak grouped_mm çekirdeğiyle işleniyor. Bu yöntem, Strata'nın performansına yaklaşarak yerel MoE çıkarımında bellek darboğazlarını aşmanın yeni bir yolunu gösteriyor.
Bu yazıda
Ne değişti?
Transformers tabanlı akış, kısa kod çözmede Strata'nın yaklaşık yüzde 6 gerisinde kalırken ön işlemede hafif üstünlük sağlıyor.
180B parametreli model, 32 GB birleşik bellekli Mac'te 3 bitlik uzman kuantizasyonu ve disk tabanlı n-gram tablosuyla çalıştırılıyor.
Neden önemli?
Bu çalışma, büyük MoE modellerinin tüketici donanımlarında çalıştırılmasının yalnızca özel motorlarla değil, standart Transformers altyapısıyla da mümkün olduğunu gösteriyor. Uzman akışlama ve sınırlı önbellek stratejisi, bellek kısıtlı cihazlarda model ölçeklemesi için pratik bir sistem yaklaşımı sunuyor.
Geliştirici için ne anlama geliyor?
Geliştiriciler, Transformers kütüphanesi üzerinden MoE modellerini düşük bellekli cihazlarda çalıştırabilir. Bu yaklaşım, özel C++ eklentileri gerektirmeden Python ve Metal çekirdekleriyle sınırlı bir önbellek yönetimi sunar. Ancak mevcut performans, yoğun kodlama ajanı kullanım senaryoları için hâlâ yetersiz kalmaktadır.
Henüz neyi bilmiyoruz?
- Performans, yoğun kodlama ajanı iş yükleri için hâlâ yetersiz kalmaktadır.
- Son yüzde 6'lık farkı kapatmak, PyTorch'un MPS akış kontrolündeki derinlemesine değişiklikleri gerektiriyor.
Haberin kaynakları
Birincil kaynak180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformershuggingface.coYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
