INVESTIGATION OF CLASSIFICATION INDICES ON TIMSS-2015 MATHEMATIC-SUBTEST THROUGH BAYESIAN AND NONBAYESIAN ESTIMATION METHODS

BAYESIAN VE NONBAYESIAN KESTİRİM YÖNTEMLERİNE DAYALI OLARAK SINIFLAMA İNDEKSLERİNİN TIMSS2015 MATEMATİK TESTİ ÜZERİNDE İNCELENMESİ

Özet

Purpose of this study is to compare the classification accuracy and consistency indices at different sample sizes in terms of Bayesian estimation methods with MAP, EAP and Nonbayesian estimation methods with MLE, WLE in the framework of IRT. In this direction, ability estimations based on MLE, WLE, MAP and EAP were obtained for each sample size. Then, for each condition of sample size, classification accuracy and consistency indices were calculated by using the Rudner’ s appoach. According to the findings of study, it is seen that classification indices based on Nonbayesian methods are more accurate and consistent than the indices obtained based on Bayesian methods. Among Nonbayesian methods, it is concluded that MLE leads the more accurate and consistent classification indices than WLE. However, when the post hoc tests and effect sizes are investigated, it is seen that all pairs that results in significant difference have small effect in practice.

Abstract

Bu araştırmanın amacı modern test kuramı olan MTK çerçevesinde, Nonbayesian kestirim yöntemlerinden MLE, WLE ve Bayesian kestirim yöntemlerinden MAP ve EAP ile elde edilen yetenek kestirimlerine göre bireylerin sınıflandırılması sonucunda elde edilen sınıflama doğruluğu ve sınıflama tutarlılığı indekslerini farklı örneklem koşullarında karşılaştırmaktır. Bu doğrultuda MTK çerçevesinde her bir örneklem koşulu için MLE, WLE, MAP ve EAP kestirim yöntemlerine dayalı olarak yetenek kestirimleri elde edilmiştir. Sonrasında her bir koşul için, MTK’ya dayalı sınıflama yaklaşımlarından biri olan Rudner’in yaklaşımı kullanılarak sınıflama doğruluğu ve tutarlılığı indeksleri elde edilmiştir. Çalışmanın bulgularına göre Nonbayesian yetenek kestirimlerine dayalı olarak elde edilen sınıflama indekslerinin, Bayesian yöntemlerinden daha doğru ve tutarlı olduğu gözlenmiştir. Nonbayesian yöntemler arasında ise en doğru ve tutarlı sınıflama indekslerinin MLE ile kestirilen yeteneklere dayalı olarak elde edildiği sonucuna ulaşılmıştır. Ancak yapılan ikili karşılaştırma testleri ve pratik anlamlılık değerlerinin incelenmesi sonucunda anlamlı çıkan tüm etkilerin pratikteki etkisinin küçük olduğu gözlenmiştir.