Investigation of the Power of the Mantel Test and Likelihood Ratio Test in Determining Differential Item Functioning under Different Test Conditions

Mantel Test ve Olabilirlik Oran Testi’nin Farklı Test Koşullarında Değişen Madde Fonksiyonunu Belirlemedeki Gücünün İncelenmesi

Abstract

The purpose of this study was to investigate the power rate of the likelihood ratio (LR) statistic and Mantel Test in detecting differential item functioning (DIF). A Monte Carlo study design was utilized for simulated data sets. There were 16 test conditions including different sample size, DIF magnitude and DIF pattern. Simulation was replicated for 100 times for each test condition to obtain consistent results. The results showed that LR had higher power rates than Mantel test under all test conditions. In the high shift DIF pattern, the performance of the tests was insufficient. The statistical power of both tests increased due to the increase in sample size and the magnitude of DIF.

Özet

Bu araştırmada, çok kategorili maddelerde değişen madde fonksiyonu (DMF) belirleme testlerinden Mantel Test ve Olabilirlik Oran Testi (OOT)’nin farklı test koşullarında gerçekte DMF içeren bir maddeyi belirlemedeki performansları karşılaştırılmıştır. Monte Carlo simülasyon yaklaşımıyla farklı örneklem büyüklüğü, DMF miktarı ve DMF örüntüsü içeren toplam 16 test koşulu oluşturulmuştur. Simülasyon koşullarıyla ilgili tutarlı sonuçlar elde etmek üzere her bir koşul için 100 tekrar yapılmıştır. Araştırma sonuçları, değişen test koşullarında OOT’nin, Mantel Test’e göre daha iyi performans gösterdiğini ortaya koymuştur. Düşük DMF örüntüsü koşullarına göre, yüksek DMF örüntüsünde testlerin DMF’yi belirlemedeki performansı yetersiz olmuş; örneklem büyüklüğü ve DMF miktarının artışına bağlı olarak her iki testin de istatistiksel gücü yükselmiştir. İlgili testler en iyi performansı büyük örneklem koşullarında göstermiştir.