Japonca klinik NER'de BERT ve açık ağırlıklı LLM karşılaştırması
Bu çalışma, Japonca klinik metinlerde ad varlığı tanıma (NER) için BERT tabanlı modelleri ve açık ağırlıklı LLM'leri karşılaştırıyor. 13B parametreden büyük LLM'ler, ince ayar ve yeterli çıktı token sınırıyla BERT'i geride bırakırken, sıfır atış performansları düşük kaldı.
Bu yazıda
Ne değişti?
13B parametreden büyük LLM'ler, ince ayar ve yüksek token sınırıyla BERT tabanlı modelleri F1 skorunda geride bıraktı.
Sıfır atış (zero-shot) LLM performansının düşük olması, çıktı yapısını zorlayan şemaların bu eksikliği kapatamadığını gösterdi.
Neden önemli?
Klinik metin işleme projelerinde LLM'lerin BERT'i ne zaman ve hangi koşullarda geçtiğini gösteren kontrollü bir karşılaştırma sunması, model seçimi ve kaynak planlaması için kritik bir referans noktası oluşturur.
Geliştirici için ne anlama geliyor?
Klinik NER projelerinde LLM seçimi yaparken yalnızca model boyutuna değil, çıktı token sınırına ve ince ayar stratejisine odaklanmak gerekir. Bu çalışma, yeterli kapasite ve ince ayar olmadan LLM'lerin BERT tabanlı sistemleri geride bırakamayacağını gösterir.
Henüz neyi bilmiyoruz?
- Çalışma yalnızca Japonca klinik vaka raporları ve 113 varlık kategorisiyle sınırlıdır.
- Sonuçlar, kullanılan spesifik test seti ve model yapılandırmalarına bağlıdır.
Haberin kaynakları
Birincil kaynakFine-Grained Japanese Clinical Named Entity Recognition: A Controlled Comparison of BERT and Open-Weight Large Language Modelsarxiv.orgYayın tarihleri
- blue'og yayını
- Kaynak yayını
Bu yazı, bağlantılı kaynaklar okunarak yapay zekâ ile hazırlandı. Kaynaktaki bulguların yanı sıra kullanım alanları ve açıklanmayan noktalar da yer alır. Kapak, konuyu anlatan bir illüstrasyondur. En güncel ayrıntılar için kaynakları inceleyebilirsiniz.
