Longtail-SWE: Az temsil edilen diller için 202 SWE görevi
Longtail-SWE, Clojure, Haskell ve Swift gibi 13 dil için 202 yüksek kaliteli yazılım mühendisliği görevi sunar. Solver-judge-repairer hattı, hatalı testleri düzeltir ve dokuz model konfigürasyonunun performansını analiz eder. Tüm veriler ve araçlar açık kaynak olarak yayınlanmıştır.
Bu yazıda
Ne değişti?
Longtail-SWE, mevcut benchmark'larda yetersiz temsil edilen 13 programlama dili için 202 sorun çözme görevi sunar.
Çözüm, yargıç ve onarım aşamalarından oluşan bir boru hattı, hatalı testleri düzeltirken görev zorluğunu korur.
Neden önemli?
Mevcut depo seviyesindeki benchmark'lar, belirsiz açıklamalar veya kusurlu testler nedeniyle değerli mühendislik sorunlarını eliyor. Longtail-SWE, bu dillerdeki boşluğu doldurarak model değerlendirmelerinin kapsamını genişletir ve dil özgü zorlukları ölçülebilir hale getirir.
Geliştirici için ne anlama geliyor?
Geliştiriciler, mevcut araçların zayıf kaldığı 13 dil için standartlaştırılmış ve doğrulanmış test ortamlarına erişebilir. Bu, model performansını dil bazında karşılaştırmayı ve dil özgü hata tiplerini analiz etmeyi kolaylaştırır.
Henüz neyi bilmiyoruz?
- Benchmark, yalnızca 13 dil ve 202 görevle sınırlıdır; bu, genel yazılım mühendisliği yetkinliğini tam yansıtmayabilir.
- Değerlendirme dokümanında spesifik model başarı yüzdeleri veya karşılaştırmalı performans metrikleri paylaşılmamıştır.
Haberin kaynakları
Birincil kaynakLongtail-SWE: High-Quality SWE Tasks for Underrepresented Languagesarxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
