EDEN: LLM RLVR'de gömme uzayında yönlü keşif
RLVR'de küçük rollout grupları, benzer yörüngeler üreterek grup-göreceli avantaj sinyallerini zayıflatır. EDEN, prompt'a eklenmiş tek bir gürültülü gömme konumuyla rollout kaynağında müdahale eder. Bu yaklaşım, aynı bütçe içinde çözüm kapsamını artırarak GRPO'yu matematiksel akıl yürütme görevlerinde geride bırakır.
Bu yazıda
Ne değişti?
EDEN, standart rollout'ların küçük bir kısmını, prompt'a eklenmiş tek bir gürültülü gömme konumuyla değiştirerek keşfi yönlendirir.
Yöntem, matematiksel akıl yürütme benchmark'larında GRPO'ya kıyasla en büyük kazanımları örneklenen çözüm kapsamı alanında gösterir.
Neden önemli?
Mevcut çözümler genellikle örneklem sıcaklığını veya bütçesini değiştirerek keşfi genişletir, ancak rollout koşullandırmasını değiştirmez. EDEN, müdahaleyi doğrudan rollout kaynağına taşıyarak, aynı politikanın kendi çıktılarının ötesinde varyasyon üretmesini sağlar. Bu, grup içi ödül çeşitliliğini artırarak öğrenme verimliliğini teknik olarak destekler.
Geliştirici için ne anlama geliyor?
Geliştiriciler, mevcut GRPO altyapılarında model mimarisini veya test zamanı çıkarımını değiştirmeden rollout kaynağında müdahale edebilir. Bu yaklaşım, küçük rollout gruplarında ödül varyansını artırarak öğrenme sinyallerini güçlendirebilir. Ancak yöntemin, farklı görev türlerinde veya daha büyük ölçekli modellerde genel geçerliliği henüz bağımsız olarak doğrulanmamıştır.
Henüz neyi bilmiyoruz?
- Çalışma, matematiksel akıl yürütme benchmark'larına odaklanmıştır; diğer görev türlerindeki performansı belirsizdir.
- Sonuçlar, aynı pipeline'da değerlendirilen kontrollerle karşılaştırılmıştır; bağımsız dış doğrulama verisi sunulmamıştır.
Haberin kaynakları
Birincil kaynakBeyond Policy Rollouts: Embedding-Space Directional Exploration with Anchored Noise for LLM RLVRarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
