Fish Audio Drama 3 açık kaynak ses üretim modeli yayımlandı
Fish Audio Drama 3, 35B parametreli MoE mimarisiyle metni yönlendirilmiş performanslara dönüştüren açık kaynak bir ses üretim modelidir. Model, çok karakterli sahnelerde ses klonlama, infilling ile düzenleme ve akışkan ses sentezi sunar. Tek H200 üzerinde 271 kare/sn hızında çalışarak önceki nesilden daha yüksek verimlilik sağlar.
Bu yazıda
Ne değişti?
Model, çok karakterli sahnelerde doğal dil yönlendirmesiyle ses klonlama ve çok turlu revizyon yeteneklerini tek bir mimaride birleştirir.
Tek H200 üzerinde 271 kare/sn çıkış hızı, önceki nesle kıyasla parametre sayısının yedi kat artmasına rağmen daha yüksek verimlilik sağlar.
Neden önemli?
Drama 3, ses üretiminde yönlendirme, revizyon ve düzenleme işlemlerini tek modelde birleştirerek içerik üretim akışlarını sadeleştirir. Açık kaynak ağırlıkları, geliştiricilerin kendi seslendirme altyapılarını kurmasını kolaylaştırır. Yüksek çıkış hızı, gerçek zamanlı etkileşimli uygulamalar için pratik bir temel oluşturur.
Geliştirici için ne anlama geliyor?
Açık kaynak ağırlıkları ve SGLang-Omni desteği, geliştiricilerin kendi yönlendirme ve seslendirme akışlarını kurmasını sağlar. 271 kare/sn hızı, tek H200 üzerinde gerçek zamanlı etkileşimli ses üretimini mümkün kılar. Ancak 35B parametreli mimari, geniş ölçekli dağıtım için ciddi donanım maliyeti gerektirir.
Henüz neyi bilmiyoruz?
- Tek H200 üzerindeki hız ölçümü, çoklu sunucu dağıtımı veya farklı donanım konfigürasyonlarındaki performansı garanti etmez.
- İnsan tercihine dayalı tek ödül sinyali, modelin belirli seslendirme tarzlarındaki tutarlılığını sınırlayabilir.
Haberin kaynakları
Birincil kaynakFish Audio Drama 3 Technical Reportarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
