SpecOPD, spekülatif çözümlendirmede taslak model eğitimi için dallar arası paralel on-policy damıtma sunar. Sıralı denetim bağımlılıklarını kırarak eğitim verimliliğini artırır. 8B-125B hedef modellerde test edilmiş, kabul uzunluğunu ve üretim hızını önemli ölçüde iyileştirmiştir.
Yeni bir distilasyon yöntemi olan O3PD, öğrenci modelin kendi çıktılarını kullanarak öğretmenin token sıralamasını öğrenmesini sağlar. Bu yaklaşım, olasılık değerlerini eşleştirmek yerine sıralamaya odaklanarak sıcaklık hassasiyetini ortadan kaldırır ve matematik testlerinde daha iyi sonuçlar verir.
arXiv1 dk okuma
1–2 / 2 yayın
Nasıl hazırlıyoruz?
Kaynağı belli. Sınırları açık.
Resmî duyuruları, araştırma makalelerini ve açık kaynak projelerinin sürüm notlarını yapay zekâ ile Türkçe özetliyoruz. Her haberde kaynak bağlantılarına, kullanım alanlarına ve açıklanmayan noktalara yer veriyoruz.
Doğrudan kaynak
Araştırma makalesine, model duyurusuna veya projenin deposuna haberden ulaşabilirsiniz.
Bulgular ve yorumlar
Kaynakta açıklanan sonuçları, olası kullanım alanları ve bilinmeyenlerden ayrı sunuyoruz.
Görsellerin kaynağı
Görsel ve videoların kaynağını belirtiyoruz. Konuyu anlatmak için kullanılan illüstrasyonları da işaretliyoruz.
Araştırma kaynakları
Makaleleri kendiniz keşfedin.
Yeni çalışmalar bulabileceğiniz dizinler ve araştırma laboratuvarları. Bir görsel özet ilginizi çekerse sonuçları özgün makaleden okuyun.