Vercel, ajanların yazılımı kullanırken karşılaştıkları başarıyı ölçmek için uçtan uca değerlendirme (eval) metodolojisini açıklıyor. Ajanlar, keşiften başarıya uzanan huni içinde insanlarla aynı adımları izler. Bu makale, LLM çıktılarındaki değişkenlik nedeniyle tekil testlerin yetersiz kaldığını vurguluyor ve tekrarlanabilir, puanlanan görev setleri öneriyor.
Cogent, OpenAI modellerini kurumsal bağlamla birleştirerek otonom siber savunma fabrikaları geliştiriyor. Ajanlar, açıkları tespit edip onaylı düzeltmeleri uygulayarak riskleri azaltıyor. TRACE motoru, politika denetimlerini deterministik olarak gerçekleştiriyor.
JioStar, 500 milyon kullanıcıya hizmet veren platformunda OpenAI API kullanarak sesli ve görsel içerik keşif asistanı geliştirdi. Sekiz haftalık süreçte 15 dilde destek sağlandı. Proje, doğruluk, gecikme ve maliyet dengesini koruyarak üretim ortamına taşındı.
WorkflowArena, LLM tabanlı çoklu ajan sistemlerinde iş akışı orkestrasyonunu ölçen yeni bir benchmark'tır. 145 görev ve 8 alanda, ajanların otonom delegasyon stratejilerini ve çıktı kalitesini gizli doğrulayıcılarla değerlendirir. Dokuz modelin testinde, iş akışı yapısının görev başarısını belirleyen ölçülebilir bir faktör olduğu ortaya konmuştur.
arXiv / cs.AI + cs.CL1 dk okuma
1–4 / 4 yayın
Nasıl hazırlıyoruz?
Kaynağı belli. Sınırları açık.
Resmî duyuruları, araştırma makalelerini ve açık kaynak projelerinin sürüm notlarını yapay zekâ ile Türkçe özetliyoruz. Her haberde kaynak bağlantılarına, kullanım alanlarına ve açıklanmayan noktalara yer veriyoruz.
Doğrudan kaynak
Araştırma makalesine, model duyurusuna veya projenin deposuna haberden ulaşabilirsiniz.
Bulgular ve yorumlar
Kaynakta açıklanan sonuçları, olası kullanım alanları ve bilinmeyenlerden ayrı sunuyoruz.
Görsellerin kaynağı
Görsel ve videoların kaynağını belirtiyoruz. Konuyu anlatmak için kullanılan illüstrasyonları da işaretliyoruz.
Araştırma kaynakları
Makaleleri kendiniz keşfedin.
Yeni çalışmalar bulabileceğiniz dizinler ve araştırma laboratuvarları. Bir görsel özet ilginizi çekerse sonuçları özgün makaleden okuyun.