Dil modellerinde algılama ve yönlendirme vektörleri farklı yönleri tercih ediyor
Araştırma, dil modellerinde kavram algılama (probing) ve yönlendirme (steering) için kullanılan gizli durum vektörlerinin aynı yönleri tercih etmediğini ortaya koyar. Üç farklı aileden talimat ayarlı modelde yapılan testlerde, en iyi algılama vektörü ile en iyi yönlendirme vektörü arasında tutarlı bir ayrım gözlemlenmiştir. Bu bulgu, modeller arası aktarım ve uygulama senaryoları için önemli tasarım kısıtları getirmektedir.
Bu yazıda
Ne değişti?
Doğruluk ve duygu durumlarında en iyi algılama vektörü, en iyi yönlendirme vektörü değildir; yönlendirme ortalama farka yakın yönleri tercih eder.
Doğrusal harita ile aktarılan algılama vektörleri hedef modelde performansın büyük kısmını korurken, yönlendirme etkisi çoğu model çiftinde azalır.
Neden önemli?
Bu ayrım, dil modellerinin içsel temsillerinin işlevsel olarak farklılaştığını gösterir. Algılama, kavramın varlığını tespit etmek için optimize edilirken yönlendirme, davranışı değiştirmek için farklı bir geometrik yapıyı gerektirir. Bu bulgu, model içi müdahale tekniklerinin tasarımında varsayılan varsayımları sorgulatır.
Geliştirici için ne anlama geliyor?
Geliştiriciler, kavramları algılamak için optimize ettikleri vektörleri doğrudan model davranışını değiştirmek için kullanmamalıdır. Araştırma, algılama ve yönlendirme için en iyi yönlerin farklı olduğunu gösterdiğinden, bu iki görev için ayrı optimizasyon stratejileri geliştirmek gereklidir. Ayrıca modeller arası aktarım sırasında yönlendirme etkisinin kaybolduğu göz önünde bulundurulmalıdır.
Henüz neyi bilmiyoruz?
- Yönlendirme optimumunun stabilitesi katman ve operatöre göre değişir; eşleşen metinlerle kazançlar azalabilir veya kaybolabilir.
- Model çiftleri arasındaki aktarım sonuçları önceden tanımlı kriterlere göre sınıflandırıldığında dokuz çift için belirsiz kalmıştır.
Haberin kaynakları
Birincil kaynakDo Probing and Steering Favor the Same Directions Within and Across Language Models?arxiv.org Araştırma keşfiHugging Face Daily PapersÖzgün sayfayı açYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Görsel ve videoların kaynakları üzerlerinde belirtilir; hakları sahiplerine aittir. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
![[Uncaptioned image]](/_next/image?url=https%3A%2F%2Farxiv.org%2Fhtml%2F2611.16642v1%2Fcover.png&w=3840&q=75)