AI Summary & Key Takeaways
AI InsightThe results indicate that Turkish vocabulary evaluations should include real rare and regional words alongside pseudowords and should report the prompt condition as a separate variable.
📌 3 Key Takeaways
Abstract
Erroneous generations of large language models on rare and regional vocabulary may remain invisible in evaluations built on common knowledge questions or fabricated entities. This study examines incorrect-definition and abstention behavior in Turkish word meaning questions with a four-layer test set of 20 common, 70 rare, 70 dialectal, and 40 generated pseudowords. Nine models were evaluated under a neutral prompt asking for the meaning of a word and a prompt that explicitly allows the model to say it does not know. The resulting 3,600 responses were coded by a large language model judge (LLM judge) with a seven-category coding scheme, and the codes were validated on a blind human-coded subset of 500 responses. The primary outcome is an incorrect definition, that is, a stated meaning that does not match the dictionary definition. For this outcome, Cohen's kappa between the human coder and the judge is 0.80. According to the judge codes, the incorrect-definition rate is 1.4% for common words, 20.7% for rare words, 38.8% for dialectal words, and 26.1% for pseudowords. The rate for dialectal words is 12.7 percentage points higher than for pseudowords. The difference between rare words and pseudowords is not significant. About half of the incorrect definitions for real words are the meaning of another real word. The incorrect-definition rate is 40.2% under the neutral prompt and 12.2% under the prompt allowing abstention. No expression of uncertainty was present in 87.0% of incorrect definitions according to the judge codes and in 90.3% in the human-coded subset. One quarter of abstentions on real words assert that the word does not exist. The results indicate that Turkish vocabulary evaluations should include real rare and regional words alongside pseudowords and should report the prompt condition as a separate variable.
Özet
Büyük dil modellerinin seyrek ve bölgesel söz varlığı karşısındaki yanlış üretimleri, yaygın bilgi sorularına ya da uydurma varlıklara dayanan değerlendirmelerde yeterince görünür olmayabilir. Bu çalışma Türkçe sözcük anlamı sorularındaki yanlış tanım ve çekimserlik davranışını 20 yaygın, 70 nadir, 70 ağız ve 40 üretilmiş sahte sözcükten oluşan dört katmanlı bir test kümesiyle incelemektedir. Dokuz model, sözcük anlamını soran nötr istem ve modelin “bilmiyorum” demesine açıkça izin veren istem koşullarında değerlendirilmiştir. Elde edilen 3.600 yanıt yedi kategorili bir kodlama şemasıyla büyük dil modeli tabanlı bir yargıç (BDM-yargıç) tarafından kodlanmış, kodlar 500 yanıtlık kör insan alt kümesinde doğrulanmıştır. Ana sonuç değişkeni, sözlük tanımıyla uyuşmayan bir anlamın ileri sürülmesi olarak tanımlanan yanlış tanımdır. Bu değişken için insan ile yargıç arasındaki Cohen's kappa 0,80'dir. Yargıç kodlarına göre yanlış tanım oranı yaygın sözcüklerde %1,4, nadir sözcüklerde %20,7, ağız sözcüklerinde %38,8 ve sahte sözcüklerde %26,1'dir. Ağız sözcüklerindeki oran sahte sözcüklerdekinden 12,7 yüzde puan yüksektir. Nadir sözcükler ile sahte sözcükler arasındaki fark anlamlı değildir. Gerçek sözcüklerdeki yanlış tanımların yaklaşık yarısı başka bir gerçek sözcüğün anlamıdır. Yanlış tanım oranı nötr istemde %40,2 iken çekimserliğe izin veren istemde %12,2'dir. Yanlış tanımların yargıç kodlarına göre %87,0'ında, insan kodlu alt kümede %90,3'ünde belirsizlik ifadesi yer almamıştır. Gerçek sözcüklere verilen çekimser yanıtların dörtte biri sözcüğün var olmadığını ileri sürmektedir. Sonuçlar, Türkçe söz varlığı değerlendirmelerinin gerçek seyrek ve bölgesel sözcükleri sahte sözcüklerle birlikte içermesi ve istem koşulunun ayrı bir değişken olarak raporlanması gerektiğini göstermektedir.