Comparison of Mantel-Haenszel, Logistic Regression and Likelihood Ratio Methods to Evaluate Differential Item Functioning by Using Different Computer Software

Mantel-Haenszel, Lojistik Regresyon ve Olabilirlik Oranı Değişen Madde Fonksiyonu İnceleme Yöntemlerinin Farklı Yazılımlar Kullanılarak Karşılaştırılması

Abstract

t. The aim of this study is to compare the results of differential item functioning (DIF) analysis in terms of classical test and item response theory with different computer software by using the Programme for International Student Assessment (PISA) 2012 student questionnaire data. Participants are 990 students who were randomly selected from Turkish students answering all 9 mathematics work ethics items. In terms of mathematics performance factor variable, 45% of the participants were from lower and 55% of them were from upper group. DIF was evaluated with Mantel-Haenszel, logistic regression and likelihood ratio methods. Data was analyzed by using JMETRIK, DIFAS, Zumbo SPSS Syntax, IRTLRDIF and IRTPRO software. The results showed that there was DIF in the item “homework completed in time” in terms of all analysis software and methods. Moreover, it was observed that the results of all analysis software and methods contain similarities and differences. In the light of the findings of the study and related literature, some suggestions were made for theory and practice.

Özet

Bu çalışmanın amacı, 2012 yılında yapılan Uluslararası Öğrenci Değerlendirme Programı (PISA)uygulaması öğrenci anketinden alınan bir veri ile klasik test ve madde tepki kuramı yöntemleri kullanılarakyapılan değişen madde fonksiyonu (DMF) analizlerinin sonuçlarını karşılaştırmaktır. Araştırmanın çalışmagrubu matematik çalışma disipliniyle ilgili 9 maddeye ait kayıp verisi olmayan Türk öğrenciler arasındanrastgele örnekleme yöntemiyle seçilen 990 öğrencidir. Matematik başarısı bakımından, öğrencilerin %45’ialt grupta, %55’i ise üst grupta yer almıştır. Veri analiz yöntemleri olarak Mantel-Haenszel, lojistikregresyon ve olabilirlik oranı yöntemleri kullanılmıştır. Analizlerde JMETRIK, DIFAS, Zumbo SPSS Syntax,IRTLRDIF ve IRTPRO yazılımları kullanılmıştır. Araştırma sonuçlarına göre, tüm yöntemlere ve yazılımlaragöre ‘ödevi zamanında tamamlama’ maddesinde DMF olduğu belirlenmiştir. Tüm yöntemlerin veyazılımların sonuçları kısmen benzerlikler göstermekle birlikte farklılıklar da içermektedir. Araştırmadanelde edilen bulgular ve ilgili alan yazın ışığında teori ve pratiğe dönük bazı önerilerde bulunulmuştur.