Using R to Detect Differential Item Functioning: Science sub-test of Secondary School Entrance Examination

Değişen Madde Fonksiyonunun Belirlenmesinde “difR” R Paketinin Kullanımı: Ortaöğretime Geçiş Sınavı Fen Alt Testi

Abstract

Differential Item Functioning (DIF) analyses provide critical information about validity of atest. R; an open source software, that comprises all of the DIF detection methods, has animportant role in DIF research. Therefore, conducting a guiding study for measurementinvariance or DIF analyses by following scientific methods and procedures will be very usefulfor researchers and practitioners. In this research, it is aimed to illustrate the proceduresfollowed in different DIF detection methods in R, beginning from the installation of the Rsoftware to the interpretation of the analysis results, using a sample test (science sub-test ofSecondary School Entrance Examination) and data. Four DIF detection methods, which arecommonly used in DIF analyses, Mantel-Haenszel, Logistic Regression, SIBTEST andLikelihood Ratio methods are handled in this study. According to the analysis results, no itemsindicate DIF or indicate negligible DIF

Özet

Değişen Madde Fonksiyonunun (DMF) belirlenmesi, bir testin ve testten alınan puanlarıngeçerliğine ilişkin önemli göstergeler sunmaktadır. difR paketi ise farklı DMF belirlemeyöntemlerinin uygulanmasına izin vererek araştırmacılara ve uygulayıcılara büyük kolaylıksağlayan R paketidir. Bu araştırmanın temel amacı örnek bir araştırma verisi üzerinden, difRpaketinde farklı DMF belirleme yöntemlerine ilişkin; yazılım kurulumu, varsayımlarınincelenmesi, analiz adımları ve analiz sonuçlarının yorumlanması için izlenen sürecinresmedilmesidir. Bu temel amaç doğrultusunda Türkiye'de 8. sınıf öğrencilerine uygulananOrtaöğretime Geçiş Sınavı 2018 uygulamasında yer alan fen maddelerinin, madde sıra etkisibakımından DMF gösterme durumları incelenmiştir. Bu yönüyle araştırma tarama modelindebir araştırmadır. Araştırmada sıklıkla kullanılan DMF belirleme yöntemlerinden Klasik TestKuramına dayalı Mantel-Haenszel, Lojistik Regresyon ve SIBTEST ile Madde Tepki Kuramınadayalı Olabilirlik Oran yöntemlerine ilişkin adımlar ele alınmıştır. DMF analizleri sonucu eldeedilen bulgulara göre fen maddelerinin madde sıra etkisi bakımından çoğunlukla DMFgöstermediği ya da ihmal edilebilir düzeyde DMF gösterdiği sonucuna ulaşılmıştır.