M3OPD-Reasoner: Çoklu öğretmen damıtmasıyla açık kaynaklı çok modlu akıl yürütme
M3OPD-Reasoner, görsel-dil modelleri için çoklu öğretmen politikası içi damıtma (MOPD) tabanlı açık bir eğitim tarifi sunar. Qwen3.5-9B tabanlı model, görsel STEM, algı ve video alanlarında uzmanlaşmış öğretmenlerden öğrenir. MOPD sonrası MixRL uygulanarak M3OPD-Reasoner-9B elde edilir; tüm veriler ve kodlar açık kaynak olarak paylaşılmıştır.
Bu yazıda
Ne değişti?
GSPO ile eğitilen öğretmenlerden MOPD yoluyla öğrenen öğrenci model, karma eğitim bazlarına göre ortalama olarak daha iyi performans gösterir.
MOPD sonrası aynı verilerle MixRL uygulanması, modelin çökmeden performansını artırır ve M3OPD-Reasoner-9B modelini oluşturur.
Neden önemli?
Çalışma, farklı alanlarda uzmanlaşmış öğretmen modellerin yeteneklerini tek bir öğrenci modele aktaran MOPD yönteminin, karma eğitimden daha etkili olduğunu gösterir. Ardışık MOPD ve MixRL aşamalarının aynı verilerle uygulanabilmesi, veri verimliliğini artırır ve açık kaynaklı bir referans noktası sağlar.
Geliştirici için ne anlama geliyor?
Geliştiriciler, Qwen3.5-9B tabanlı açık kaynaklı bir görsel-dil modeli için çok aşamalı bir eğitim tarifi edinebilir. MOPD ve MixRL'nin ardışık aşamalar olarak kullanılabilmesi, aynı veri setinden daha fazla performans elde etme potansiyeli sunar. Tüm veriler, eğitim kodları ve kontrol noktalarının açık olması, yöntemin bağımsız olarak test edilmesini ve yeniden üretilmesini kolaylaştırır.
Henüz neyi bilmiyoruz?
- Değerlendirme, eğitim verisinin 21 test setiyle kirlenmesinin önüne geçilmesiyle yapılmıştır; bu durum genel genellenebilirliği sınırlayabilir.
- Yöntem, Qwen3.5-9B tabanlı modeller için optimize edilmiştir; farklı mimarilerdeki etkisi bu çalışmada incelenmemiştir.
Haberin kaynakları
Birincil kaynakM3OPD-Reasoner: An Open Recipe for Post-Training Multimodal Reasoning with Multi-Teacher On-Policy Distillationarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
