Uluslararası Öğrenci Değerlendirme Programı (PISA-2012) Okuryazarlık Testlerinin Ölçme Değişmezliğinin İncelenmesi

Investigation of Measurement Invariance Of Literacy Tests In The Programme For International Student Assessment (PISA-2012)

Özet

Bu araştırma ile PISA-2012 matematik ve fen okuryazarlığı ile okuma becerileri alt testlerinin dildeğişkenine göre ölçme değişmezliğinin incelenmesi amaçlanmıştır. Araştırma tarama modelinde betimselbir araştırma olması ile birlikte PISA 2012 uygulamasına katılan Avustralya, Fransa, Şangay-Çin ve Türkiyeörneklemlerinde 3 no’lu kitapçığı (yayınlanan maddelerin en fazla sayıda ve üç alandan da maddelerinbulunduğu tek kitapçık) alan 2149 öğrenciden elde edilen veriler üzerinden yürütülmüştür. Testlerin farklıdil formlarına ilişkin, faktör yapılarının değişmezliği Çok Gruplu Doğrulayıcı Faktör Analizi (ÇGDFA) ilemaddelerin değişen madde fonksiyonu gösterme durumları ise Genelleştirilmiş Aşamalı DoğrusalModelleme (GADM), Simultaneous Item Bias Test (SIBTEST) ve Madde Tepki Kuramı'na dayalı OlabilirlikOran (MTK-OO) teknikleri ile incelenmiştir. İstatistiksel yöntemlerin yanı sıra olası yanlılık kaynaklarıuzman görüşleri doğrultusunda belirlenmiştir. Her üç alt test için yapılan ÇGDFA sonuçlarına göre, testlerindil değişkenine göre yapısal değişmezlik gösterdiği ancak metrik değişmezlik göstermediği belirlenmiştir.Değişen madde fonksyonu (DMF) analiz sonuçları değerlendirilirken her üç DMF belirleme tekniğine göreve en az B düzeyinde DMF gösteren maddeler DMF'li kabul edilmiştir. Buna göre matematik ve fenokuryazarlığı ile okuma becerileri testlerinde dil değişkenine göre, DMF’li olarak kabul edilen maddelersırasıyla testlerin ortalama %35’i, %34’ü ve %22’sini oluştururken, ölçme değişmezliği gösteren maddelersırasıyla testlerin %24’ü, %7’si ve %36’sını oluşturmaktadır. Her üç alanda da en fazla DMF’li madde,İngilizce ve Çince formu alan gruplar arasında belirlenmiştir. Yanlılık çalışması sonuçlarına göre olasıyanlılık kaynakları; maddede yer alan sözcük ya da ifadelerin farklı anlamda kullanımı, madde içeriğine birdil grubunun aşina olması ve çeviriye bağlı olarak maddelerin farklılaşması olarak belirlenmiştir.

Abstract

. In this study, it was aimed at examining the measurement invariance of mathematical and science literacy tests and subtests of reading skills of PISA – 2012 in terms of the language variable. The research was designed as a descriptive study. The study was conducted on the data obtained from the test booklet-3 of PISA 2012 (it is the only booklet that had the highest number of items published and also had items from all of the three parts) which was responded by 2149 students from Australia, France, Shanghai – China and Turkey. The invariance of factor structures was examined by Multi-Group Confirmatory Factor Analysis (MGCFA) while the differential item functioning (DIF) was examined by Hierarchical Generalized Linear Modeling (HGLM), Simultaneous Item Bias Test (SIBTEST) and Likelihood Ratio (LR) based on Item Response Theory (IRT) in relation to language forms of the tests. In addition to this, experts’ opinions were asked in order to determine the possible bias sources. According to MGCFA results, PISA – 2012 mathematical and science literacy and subtests of reading skills demonstrated structural invariance while there was no metric invariance. The items which demonstrated at least B level DIF according to all three DIF technique results were accepted as showing DIF. According to DIF analyses, the DIF items comprised of 35%, 34% and 22% of mathematical and science literacy tests and subtests of reading skills respectively while the items showing measurement invariance comprised of 24%, 7% and 36% of the tests in terms of language variable. The highest number of DIF items in all three parts was determined between the groups that took English and Chinese forms. As a result of bias analysis, some possible bias sources were as follows; using the words or phrases in different meanings in the items, being familiar to the item content in favor of a language group and the differentiation of the items depending on the translation.