Dil ajanlarında eylem ve tahminin birlikte evrimleşmesi
Bu çalışma, dil ajanlarının eğitimindeki uzun ufuklu yuvarlanma maliyetini azaltmak için eylem ve tahminin birlikte evrimleşmesini önerir. Yeni yöntem, ara adımlardaki denetimi kullanarak GRPO ve ECHO gibi baz çizgilerden daha yüksek örnek verimliliği elde eder.
Bu yazıda
Ne değişti?
Yeni yöntem, başarılı yörüngelerdeki çok adımlı eylem dizilerini hedef alarak politika omurgasını eğitir.
ScienceWorld üzerinde ECHO ve GRPO'ya kıyasla sırasıyla 1.9x ve 2.0x daha yüksek örnek verimliliği sağlar.
Neden önemli?
Standart pekiştirmeli öğrenme yalnızca uç ödül sinyali kullanırken, bu yöntem ara adımlardaki denetimi etkinleştirir. Bu, dil ajanlarının eğitim maliyetini düşürerek daha karmaşık görevlerde uygulanabilirliği artırır.
Geliştirici için ne anlama geliyor?
Tek bir politika omurgasıyla ek model veya ön eğitim gerektirmeden eğitim verimliliğini artırır. Bu yaklaşım, uzun ufuklu görevlerde denetim sinyallerini daha iyi kullanarak kaynak tüketimini azaltabilir.
Henüz neyi bilmiyoruz?
- Sonuçlar beş simüle edilmiş ve gerçekçi uygulama benchmark'ında test edilmiştir.
- Yöntemin genel yapay zeka ajanlarına uygulanabilirliği henüz geniş çaplı doğrulanmamıştır.
Haberin kaynakları
Birincil kaynakCo-Evolving Acting and Forecasting for Language Agentsarxiv.orgYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
