EpiSEM-Bench: Eksik Kanıt Altında Ajan Güvenliğini Ölçüyor
Araç kullanan dil modeli ajanları, çevresel olgulara dayanarak eylem izni verir. Araç yanıtı güvenlikle ilgili bir olguyu atladığında, ajan yasaklı bir eylemi gerçekleştirebilir. EpiSEM-Bench, eksik kanıt altında güvensiz çalışmayı ve kanıt kurtarmayı ölçen 300 görevlik bir benchmark sunar. On modelde eksik kanıta karşı dayanıklılıkta büyük farklılıklar bulundu.
Bu yazıda
Ne değişti?
Çalışma, altı farklı alanda 300 eşleşen güvenli ve güvensiz görev çifti içeren çalıştırılabilir bir benchmark sunuyor.
On model arasında eksik kanıta karşı dayanıklılık ve kanıt edinme yetkinliği açısından önemli farklılıklar gözlemlendi.
Neden önemli?
Ajanların güvenli çalışması, çevreden gelen verilerin eksiksiz olmasına bağlıdır. Bu benchmark, ajanların eksik bilgi durumunda yasaklı eylemlerden kaçınma ve eksik kanıtları aktif olarak edinme yeteneklerini sistematik olarak ölçüyor. Bu, otonom ajanların üretim ortamlarında güvenle kullanılabilmesi için kritik bir değerlendirme boşluğunu dolduruyor.
Geliştirici için ne anlama geliyor?
Ajan tabanlı sistemler geliştirirken, araç çıktısındaki eksik verinin güvenlik riski yaratabileceğini test etmen gerekir. EpiSEM-Bench, ajanların eksik bilgiyi aktif olarak sorgulayıp sorgulamadığını ölçer. Bu, sadece doğru cevabı veren değil, güvenli sınırları koruyan ajanlar tasarlamak için kritik bir değerlendirme katmanı sunar.
Henüz neyi bilmiyoruz?
- Benchmark, yalnızca araç yanıtlarındaki kritik olguların sistematik olarak bastırıldığı senaryolara odaklanıyor.
- Çalışma, eksik kanıt durumundaki başarısızlık kardinalitesini ölçüyor ancak gerçek dünya karmaşıklığını tam yansıtmayabilir.
Haberin kaynakları
Birincil kaynakEpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidencearxiv.orgYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
![[Uncaptioned image]](/_next/image?url=https%3A%2F%2Farxiv.org%2Fhtml%2F2610.30113v1%2FFigures%2Ffig_teaser.jpg&w=3840&q=75)
