PISA 2015 Reading Test Item Parameters Across Language Groups: A measurement Invariance Study with Binary Variables

PISA 2015 Dil Gruplarına Göre Madde Parametreleri: İkili Değişkenlerle Ölçme Değişmezliği Çalışması

Abstract

Large-scale international assessments, including PISA, might be useful for countries to receive feedback on theireducation systems. Measurement invariance studies are one of the active research areas for these assessments,especially cross-cultural and linguistic comparability have attracted attention. PISA questions are prepared in theEnglish language, and students from many countries answer the translated form. In this respect, the purpose of ourstudy is to investigate whether there is a measurement invariance problem across native English and non-nativeEnglish speaker groups in the PISA-2015 reading skills subtest. The study sample included students from Canada,the USA, and the UK as the native speaker group and students from Japan, Thailand, and Turkey as the non-nativespeaker group. Measurement invariance studies taking into account the binary structure of the data set for thesetwo groups revealed that eight of the twenty-eight items in the PISA-2015 reading skills test had possiblelimitations in equivalence.

Özet

PISA gibi uluslararası düzeyde yapılan sınavlarda, ülkelerin eğitim sistemlerinin etkililiği hakkında değerlendirmeler yapılmaktadır. Dolayısıyla bu uygulamalar için hazırlanan ölçme araçlarının geçerliği incelenirken farklı değişkenlere göre eşdeğerliğinin sınanması önemli konulardan biridir. PISA uygulamasının soruları İngilizce dilinde hazırlanmaktadır. Birçok ülkeden katılan öğrenciler, testin orijinal formunu değil çeviri formunu cevaplamaktadırlar. PISA’nın uygulama dilinden farklı bir dil kökeninden katılım sağlayan öğrenciler ile testi orijinal formda alan öğrenciler arasında dil değişkenine göre bir ölçme değişmezliği sorunu olmaması gerekmektedir. Bu bağlamda çalışmanın amacı PISA-2015 okuma becerileri alt testinde ana dili İngilizce olan ülkeler ile ana dili İngilizce olmayan ülkelerarasında çeviriden kaynaklanan bir ölçme değişmezliği sorunu olup olmadığını araştırmaktır. Araştırmanın amacı doğrultusunda ana dili İngilizce olan ülkelerden Kanada, ABD ve İngiltere; ana dili İngilizce olmayan ülkelerden ise Japonya, Tayland ve Türkiye örneklemleri araştırmaya dahil edilmiştir. Bu araştırmada PISA-2015 okuma becerileri testinin ana dili değişkenine göre ölçme değişmezliği veri setinin ikili kategorik yapısına uygun olarak test edilmiştir. Yapılan analizler ile elde edilen bulgular doğrultusunda, PISA-2015 okuma becerileri testindeki 28 maddeden 8’inin ana dili İngilizce olan ve olmayan ülkelere göre eşdeğerliğinde büyük ölçüde sınırlamalar olduğu sonucuna ulaşılmıştır. PISA gibi uluslararası sınavların ülkeler arasında karşılaştırılabilir olması için ölçme değişmezliğini sınırlandıran faktörlerin belirlenerek etkisinin en aza indirilmesi gerektiği önerilmiştir.