ActionOPD: Token Değil, Karar Düzeyinde Distillation
ActionOPD, dil model ajanlarını daha küçük modellere aktarırken token düzeyi yerine semantik karar düzeyinde hizalama yapan yeni bir on-policy distillation yöntemidir. Öğretmen modelin token olasılıklarına veya aynı tokenizer'a ihtiyaç duymadan, öğrenci modelin karşılaştığı durumlarda semantik uyum ödülleriyle eğitim yapar. Qwen3-4B ve Qwen3-8B modellerinde dağıtım dışı benchmark'larda ortalama 3.3-6.9 puanlık iyileşme göstermiştir.
Bu yazıda
Ne değişti?
ActionOPD, öğrenci modelin karşılaştığı durumlarda öğretmenle semantik uyumuna dayalı ödül vererek karar düzeyinde hizalama yapar.
Qwen3 modelleri üzerinde dağıtım dışı dört benchmark'ta ortalama 3.3-6.9 puanlık iyileşme sağlanmıştır.
Neden önemli?
Mevcut token-level distillation yöntemleri, öğretmen ve öğrenci modellerin aynı tokenizer'a sahip olmasını ve token olasılıklarına erişimi gerektirir. ActionOPD, semantik aksiyonları denetim birimi olarak kullanarak bu kısıtlamaları ortadan kaldırır. Bu yaklaşım, farklı model aileleri arasında ajan yeteneklerinin aktarılmasını mümkün kılar ve eğitim sürecini daha esnek hale getirir.
Geliştirici için ne anlama geliyor?
Geliştiriciler, öğretmen modelin token olasılıklarına veya aynı tokenizer'a sahip olmasına gerek kalmadan ajan yeteneklerini küçük modellere aktarabilir. Bu, farklı mimariler arası bilgi transferini kolaylaştırır ve eğitim sürecinde siyah kutu öğretmen modellerin kullanılmasına olanak tanır.
Henüz neyi bilmiyoruz?
- Sonuçlar yalnızca Qwen3 ailesi ve seçili araç kullanım görevlerinde test edilmiştir.
- Öğretmen modelin siyah kutu olarak erişilebilir olması, gerçek dünya entegrasyonunda ek altyapı gerektirebilir.
Haberin kaynakları
Birincil kaynakActionOPD: Distilling Decisions, Not Tokensarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
