Quant-Arena: LLM ajanları için nicel ticaret benchmark'ı
Quant-Arena, büyük dil modellerinin gerçek A-hisse verileri üzerinde uçtan uca nicel ticaret araştırması yapma yeteneğini ölçen yeni bir benchmark ve liderlik tablosudur. Sistem, modellerin 2022-2023 verileriyle strateji geliştirmesini ve bunu 2024'te test etmesini sağlar. Dokuz model arasında GPT-6 Astra öne çıksa da, hiçbir model 2024'te eşit ağırlıklı piyasa getirisini geçememiştir.
Bu yazıda
Ne değişti?
Dokuz sınır model test edildi; GPT-6 Astra en yüksek skoru aldı ancak hiçbir model 2024'te eşit ağırlıklı piyasayı geçemedi.
Benchmark, LLM'lerin hipotezden kodlamaya ve test etmeye uzanan uçtan uca nicel araştırma döngüsünü gerçek A-hisse verileriyle ölçer.
Neden önemli?
Bu çalışma, LLM'lerin yalnızca kod yazmakla kalmayıp finansal hipotezleri test edip strateji üretebildiğini doğrulayan ender bağımsız ölçümlerden biridir. Ancak 2024 sonuçları, mevcut modellerin henüz piyasa koşullarına dayanıklı kârlı stratejiler üretemediğini göstererek, bu alandaki beklentileri gerçekçi bir zemine oturtur.
Geliştirici için ne anlama geliyor?
Geliştiriciler, LLM tabanlı ajanların finansal araştırma döngüsünü tamamlama kapasitesini ölçmek için açık bir altyapıya erişebilir. Ancak 2024 verilerindeki başarısızlık, bu ajanların henüz bağımsız ve kârlı strateji üretmede yetersiz olduğunu gösterir. Bu durum, üretim ortamlarında insan gözetimi ve ek doğrulama katmanlarının zorunlu olduğunu vurgular.
Henüz neyi bilmiyoruz?
- Değerlendirme yalnızca 2024 yılına ait mühürlü veri setiyle sınırlıdır ve farklı piyasa koşullarını temsil etmeyebilir.
- Piyasa etkisi simüle edilmiş bir sipariş defteri üzerinden tahmin edildiği için gerçek işlem maliyetlerinden sapma gösterebilir.
Haberin kaynakları
Birincil kaynakQuant-Arena: Benchmarking LLM Agents for Quantitative Trading Researcharxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
