SERO: Uzun süreli ajan RL için orak kontrollü devamlarla öğrenme
SERO, uzun süreli ajan pekiştirmeli öğrenmede mevcut politikanın ulaşamadığı durumlar için orak kontrollü devamlar kullanır. Gerçek ortamda etkileşim kuran orak, eğitim için gözlem ve eylem üretir. Politika erişilebilirlik ağırlıklandırması, orak adımlarının denetim etkisini politika uyumuna göre ayarlar. ALFWorld ve WebShop'ta Qwen2.5 modelleriyle test edilen yöntem, çıkarım sırasında orak gerektirmez.
Bu yazıda
Ne değişti?
SERO, mevcut politikanın ulaştığı bir durumu geri yükleyip orak modelin gerçek ortamda devam etmesini sağlar.
ALFWorld üzerinde tam orak devamını öğrenmek, yalnızca kök eylemi denetlemekten belirgin şekilde daha etkilidir.
Neden önemli?
Mevcut politika, başarısız rollout'larla faydalı davranışlara ulaşamazsa, kredi ataması iyileştirilse bile denetim sinyali üretilemez. SERO, orak modelin gerçek ortamda etkileşimini doğrudan eğitim verisi olarak kullanarak bu boşluğu doldurur. Bu yaklaşım, politikanın henüz keşfetmediği durumlar için de öğrenme imkânı tanır ve uzun süreli görevlerde kritik bir sınırlamayı aşmaya çalışır.
Geliştirici için ne anlama geliyor?
Uzun süreli ajan geliştiricileri, mevcut politikanın ulaşamadığı durumlar için doğrudan eğitim sinyali üretebilir. Bu yöntem, çıkarım sırasında ek model gerektirmez ve yalnızca eğitim aşamasında çalışır. Ancak politika, orakla uyumlu hale geldikçe etki gösterir; bu da eğitim sürecinin dikkatli ayarlanmasını zorunlu kılar.
Henüz neyi bilmiyoruz?
- Yöntem, politikanın orak dalıyla uyumlu hale gelmesine bağlıdır; uyumsuzlukta derin denetim etkisiz kalabilir.
- Çalışma yalnızca ALFWorld ve WebShop gibi iki etkileşimli ajan benchmark'ında değerlendirilmiştir.
Haberin kaynakları
Birincil kaynakSERO: Learning from Executable Oracle Continuations for Long-Horizon Agentic Reinforcement Learningarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
