Ana içeriğe geç

Transformers ile 32 GB RAM'de 180B MoE çıkarımı

Tarek Ziadé, 180B parametreli MoE modellerini 32 GB RAM'li Mac'te Transformers kütüphanesiyle çalıştırmak için uzman akışlama mimarisi geliştirdi. Diskten okunan uzmanlar sınırlı bir önbellek havuzunda tutularak grouped_mm çekirdeğiyle işleniyor. Bu yöntem, Strata'nın performansına yaklaşarak yerel MoE çıkarımında bellek darboğazlarını aşmanın yeni bir yolunu gösteriyor.

Yayın 1 dk okuma
Kaynak: Hugging Face
Bu yazıda
Öne çıkan noktalar

Ne değişti?

  • Transformers tabanlı akış, kısa kod çözmede Strata'nın yaklaşık yüzde 6 gerisinde kalırken ön işlemede hafif üstünlük sağlıyor.

  • 180B parametreli model, 32 GB birleşik bellekli Mac'te 3 bitlik uzman kuantizasyonu ve disk tabanlı n-gram tablosuyla çalıştırılıyor.

Bağlam

Neden önemli?

Bu çalışma, büyük MoE modellerinin tüketici donanımlarında çalıştırılmasının yalnızca özel motorlarla değil, standart Transformers altyapısıyla da mümkün olduğunu gösteriyor. Uzman akışlama ve sınırlı önbellek stratejisi, bellek kısıtlı cihazlarda model ölçeklemesi için pratik bir sistem yaklaşımı sunuyor.

Kullanım alanları

Geliştirici için ne anlama geliyor?

Geliştiriciler, Transformers kütüphanesi üzerinden MoE modellerini düşük bellekli cihazlarda çalıştırabilir. Bu yaklaşım, özel C++ eklentileri gerektirmeden Python ve Metal çekirdekleriyle sınırlı bir önbellek yönetimi sunar. Ancak mevcut performans, yoğun kodlama ajanı kullanım senaryoları için hâlâ yetersiz kalmaktadır.

Açık kalan sorular

Henüz neyi bilmiyoruz?

  • Performans, yoğun kodlama ajanı iş yükleri için hâlâ yetersiz kalmaktadır.
  • Son yüzde 6'lık farkı kapatmak, PyTorch'un MPS akış kontrolündeki derinlemesine değişiklikleri gerektiriyor.
Kaynaklar

Haberin kaynakları

Birincil kaynak180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformershuggingface.co
Yayın tarihleri
blue'og yayını
Kaynak yayını
Bu yazı nasıl hazırlandı?

Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.

← Tüm haberler

bluedev Asistanı

Ürünleri ve çalışmalarımızı keşfedin.

Neyi çözmek istersiniz?

İhtiyacınızı yazın; ilgili ürünleri ve çalışmalarımızı kaynaklarıyla birlikte inceleyelim.

Yanıtlar kaynak kataloğundan hazırlanır. Yapay zekâ desteği yalnız izninizle kullanılır.

Diğer görevler ve ayarlar

İki ürünü karşılaştırabilir veya fikrinizi iletişim formuna aktarabileceğiniz bir ihtiyaç özetine dönüştürebilirsiniz.

Kaynak kataloğu

AI desteği şu anda kullanılamıyor. Doğrulanmış projeleri keşfedebilir ve proje özeti hazırlayabilirsiniz.

Bu site görüşmenizi kalıcı olarak saklamaz.Gizlilik