The Examination of Measurement Invariance and Differential Item Functioning of PISA 2015 Cognitive Tests In Terms of The Commonly Used Languages

Yaygın Kullanılan Diller Açısından PISA 2015 Bilişsel Testleri İçin Ölçme Değişmezliğinin ve Değişen Madde Fonksiyonlarının İncelenmesi

Abstract

The aim of the present study was to examine the measurement invariance(MI) of the reading, mathematics, and science tests in terms of the commonly usedlanguages. It also aimed to examine the differential item functioning (DIF) of thePISA test, the original items of which are in the languages of English and French, interms of the language variable. As a result of the MI analyses, it was concluded thatthe best working model for the reading comprehension, mathematics and science testsin terms of the commonly used languages for all three tests was the strong factorialinvariance model. As a result, it was found that MI could not be established for any ofthese tests. Moreover, the analyses indicated that population heterogeneity (PH) couldnot be obtained in any of the three tests, and that the latent means for these tests werenot equal. Furthermore, DIF was identified in more than half of the items. It can bededuced that this condition may result in an increase in the number of items with DIFspecifically in terms of the variety in the number of languages.

Özet

: Bu araştırmanın amacı, PISA 2015 uygulamasına ait okuduğunu anlama becerisi, matematik ve fen okuryazarlığı testlerinin yaygın kullanılan diller açısından ölçme değişmezliğini ve söz konusu testlere ait maddeler için orijinal dili olan İngilizce ve Fransızca olan PISA’nın dil değişkenine göre değişen madde fonksiyonunu incelemektir. Bu doğrultuda PISA uygulamasında orijinal diller dışında yaygın kullanılan beş test dili belirlenmiştir. Ölçme değişmezliği analizleri sonucunda okuduğunu anlama becerisi, matematik ve fen okuryazarlığı testlerinin üçü için de yaygın kullanılan diller açısından en iyi çalışan modelin güçlü faktöriyel değişmezlik modeli olduğu ve dolayısıyla bu testler için ölçme değişmezliğinin sağlanamadığı sonucuna ulaşılmıştır. Diğer taraftan maddelerin yarısından çoğunda DMF tespit edilmiştir. Bu durum, özellikle dil sayısındaki çeşitlilik ile birlikte değişen madde fonksiyonuna sahip madde sayısının da artmasına neden olabileceği biçiminde düşünülebil