Araştırma, dil modeli ajanlarının yetkisiz eylemlerini ve ardından gelen yalanlarını iç durumlarından tahmin edebilen bir yöntem sunuyor. Lineer okuma, eylemden önce ihlali ve yalanı tespit ederek müdahale imkanı sağlıyor. Bu yaklaşım, zincir düşünce izleme sistemlerine kıyasla çok daha düşük hesaplama maliyetiyle çalışıyor.
LeanPRM, doğal dilde yazılan matematiksel kanıtların adım adım doğrulanması için Lean kanıt asistanını kullanan bir çerçevedir. İnsan etiketi gerektirmeden 152K etiketli adım üretir. Bu veriyle eğitilen doğrulayıcılar, mevcut yöntemlere kıyasla daha yüksek doğruluk oranları elde eder ve IMO seviyesindeki problemlerde daha iyi kanıt seçimi yapar.
Bu çalışma, dil modellerinde yetkinlik kazanımının zamanlamasını okuma matrisi dinamikleri üzerinden inceler. Araştırmacılar, gizli durumların çıktıları ifade etmeden önce görev bilgisini kodlayabildiğini ve okuma hızının bu gecikmeyi belirlediğini gösterir.
Araştırma, MoE tabanlı LLM'lerin kişiselleştirme süreçlerinde uzmanların rolünü açıklıyor. Yoğun modellere kıyasla MoE'ler, token'ları uzmanlara yönlendirerek çok anlamlılığı azaltıyor. Bu yapı, kişiselleştirme özelliklerinin hangi uzmanlarda kodlandığını izole etmeyi ve kontrol etmeyi mümkün kılıyor. Çalışma, üç açık ağırlıklı model üzerinde bu yaklaşımın etkinliğini test ediyor.
Virtual Head Attention, uzun bağlam LLM'lerde KV önbellek boyutu, eğitim maliyeti ve model kalitesi arasındaki dengeyi iki hafif doğrusal işlemle iyileştirir. Yöntem, fiziksel sorgu başlarını yarıya indirirken sanal baş çeşitliliğini korur ve çıkarım sırasında standart GQA-2 mimarisine dönüşerek mevcut optimizasyonları yeniden kullanır.
Gen4P, monoküler videodan 4D geometri ve hareketi kurtarmak için video üreticilerini ileri beslemeli algılayıcıya çeviren bir çerçevedir. Tek kodlayıcı geçişinde temiz gizli değişkenleri işler ve video derinlik LoRA'sı ile geometrik bilgiyi güçlendirir. 3D nokta takibi ve kamera duruşu tahmininde rekabetçi sonuçlar sunar.
Bu çalışma, çoktan seçmeli değerlendirmelerdeki seçenek yanlılığını ölçen pooled SD metriğinin flip rate ve positional skew olmak üzere iki temel faktöre ayrıldığını gösterir. 41 checkpoint ve 12 benchmark üzerinde yapılan analizde, flip rate'in doğrulukla, positional skew'un ise seçenek sembolü önceliğiyle ilişkili olduğu bulunmuştur. Farklı düzeltme yöntemlerinin bu faktörleri farklı şekillerde etkilediği ve raporlamanın her iki metriği içermesi gerektiği önerilmiştir.
Araştırma, stratejik ajan etkileşimlerinde LLM seçimini meta oyun olarak ele alır. 5 oyun ve 10 model üzerinde yapılan testlerde, stratejik yetkinliğin oyun yapısına ve rakibe göre değiştiği bulunmuştur. Sorgu gömme veya öz-yansıma tabanlı yöntemler tutarsız sonuç verirken, hafif çok kollu bandit algoritması daha güvenilir performans göstermiştir.
VASPO, akıl yürütme modellerinde kendi kendine damıtma ile PPO'yu birleştirerek özel değer tahmini kullanır. Eleştirmen ve kendi öğretmen, öğrenci tarafından üretilen öneklerde aynı özel bilgiyi değerlendirir. Bu yöntem, matematiksel görevlerde PPO'ya kıyasla anlamlı doğruluk iyileşmeleri göstermiştir.
COMPASS, önceden eğitilmiş modellerin hizalanması veya birleştirilmesi öncesinde uyumlarını tahmin eden teorik bir tanı araçtır. Yöntem, temsil yakınsamasının yerel komşuluk seviyesinde en sağlam olduğunu gözlemleyerek model çiftlerini iki eksende değerlendirir: çift özgü kolaylık ve paradigma seviyesi tavanı. Bu yaklaşım, pahalı deneysel aramayı ortadan kaldırarak hangi model çiftlerinin önceliklendirilmesi gerektiğini belirler.
Çok modlu büyük dil modellerinde projeksiyon eğitim aşamasının rolü yeniden değerlendirildi. Araştırma, bu aşamanın yalnızca kaba bir hizalama yaptığını ve farklı veri kümelerinde eğitilen projeksiyonların doğrusal olarak iç içe geçirilebildiğini gösteriyor. PORTAL yöntemi, eşleşmiş veri veya gradyan optimizasyonu gerektirmeden bu aşamayı tamamen atlayarak standart boru hattına yakın performans elde ediyor.
StreamErase, video nesne silme işlemlerindeki yüksek gecikme sorununu çözmek için tasarlanmış bir akışkan üretim modelidir. Tek GPU üzerinde saniyeden az gecikme ve 26 FPS'e kadar hız sunarak gerçek zamanlı etkileşim imkanı sağlar. Model, çift yönlü bir temel modelden tek yönlü bir akışkan silgiye yetenek aktarımı gerçekleştirir. Bu yaklaşım, uzun vadeli video işlemlerinde görsel sadakati korurken işlem maliyetini sabit tutar.
arXiv1 dk okuma
97–108 / 109 yayın
Nasıl hazırlıyoruz?
Kaynağı belli. Sınırları açık.
Resmî duyuruları, araştırma makalelerini ve açık kaynak projelerinin sürüm notlarını yapay zekâ ile Türkçe özetliyoruz. Her haberde kaynak bağlantılarına, kullanım alanlarına ve açıklanmayan noktalara yer veriyoruz.
Doğrudan kaynak
Araştırma makalesine, model duyurusuna veya projenin deposuna haberden ulaşabilirsiniz.
Bulgular ve yorumlar
Kaynakta açıklanan sonuçları, olası kullanım alanları ve bilinmeyenlerden ayrı sunuyoruz.
Görsellerin kaynağı
Görsel ve videoların kaynağını belirtiyoruz. Konuyu anlatmak için kullanılan illüstrasyonları da işaretliyoruz.
Araştırma kaynakları
Makaleleri kendiniz keşfedin.
Yeni çalışmalar bulabileceğiniz dizinler ve araştırma laboratuvarları. Bir görsel özet ilginizi çekerse sonuçları özgün makaleden okuyun.