The Usage of Mixed Item Response Theory in Determining Item Bias

Madde Yanlılığının Belirlenmesinde Karma Madde Tepki Kuramının Kullanımı

Abstract

It is aimed in this study to identify whether the items in the Turkish subtest of the Transition from Basic Education to Secondary Education (TEOG) exam are biased. In this regard, whether the items show differential item functioning (DIF) is analyzed primarily according to the Mixed Item Response Theory (MixIRT) model and the Mantel- Haenszel (MH) method. The items that are determined to display DIF according to both methods are analyzed with regards to the subject field and cognitive level, as well as taking expert opinion on including bias. The sample of this study consists of 5000 students who were randomly selected from among the students that took the TEOG 2015 Turkish subtest. Analyses have shown that among the models based on MixIRT, the model with two latent classes is determined to fit the data best. When the items that indicate DIF according to both methods are analyzed in the DIF examination conducted based on the two latent classes that emerged according to the MixIRT, it is observed that four items that are all advantageous for the first latent group, are understanding level questions that contain the subjects of meaning in sentences and paragraphs. The other three items in favor of the second latent class were seen to be knowledge level questions measuring the Turkish grammar subject. In this context, it can be submitted that item features are favored for some groups and disadvantageous for some others

Özet

Çalışmada, Temel Eğitimden Ortaöğretime Geçiş (TEOG) sınavı Türkçe alt testi maddelerinin yanlılık gösterip göstermediğini incelemek amaçlanmıştır. Bu kapsamda, ilk olarak maddelerin farklılaşan madde fonksiyonu (FMF) olup olmadığı Karma Madde Tepki Kuramı (KMTK) modeli ve Mantel- Haenszel (MH) yöntemine göre belirlenmiştir. İki yönteme göre de FMF olan maddeler, içerik ve bilişsel düzey bakımından incelenerek yanlılık tespiti için ayrıca uzman görüşüne başvurulmuştur. Araştırmanın örneklemini, TEOG 2015 Türkçe alt testini yanıtlayan öğrencilerden seçkisiz olarak seçilen 5000’i oluşturmaktadır. Analizler sonucu, KMTK’na göre test edilen modellerden, en iyi veriye uyum sağlayan modelin, iki gizil sınıftan oluşan model olduğu görülmüştür. İki yönteme göre de FMF olarak tespit edilen yedi madde vardır. Bu maddelerin dördü ilk gizil gruba avantaj sağlarken üçü ikinci gizil gruba avantaj sağlamaktadır. İlk gizil gruba avantaj sağlayan dört madde, cümlede ve paragrafta anlam konularında, genellikle kavrama düzeyindeki maddelerdir. İkinci gruba avantaj sağlayan üç madde ise Türkçe dilbilgisi konusunda, bilgi düzeyinde maddeler olduğu tespit edilmiştir. Bu bağlamda, maddelerin bu gibi özelliklerinin bazı gruplara avantaj sağlarken bazılarında dezavantaja neden olduğu öne sürülebilir.