A Methodological Review of Research Using OECD PISA Turkey Data

OECD PISA TÜRKİYE VERİSİ KULLANILARAK YAPILAN ARAŞTIRMALARIN METODOLOJİK TARAMASI

Abstract

This article methodologically reviews the scientific articles based on PISA Turkey data. 97 articles were reached using ISI Web of Knowledge, Scopus and ULAKBIM indices. Among these articles, only 46 are found to have employed original analysis of PISA Turkey data. Moreover, most of the 46 reviewed articles are failed to report methodological issues such as sampling weights, the use of plausible values and the software employed in the analyses. Only 5 articles are found to use and report sampling weights properly, only 10 used plausible values in a methodologically acceptable way. These results show that the use of PISA Turkey data in scientific articles is very limited. Moreover, most of the articles that employ original analyses with PISA Turkey data fail to meet methodological necessities. Thus, their results are far from being reliable. In this manner, it is hard to claim that the potential of PISA Turkey data to guide education policies in Turkey can be realized.

Özet

Bu makalede PISA Türkiye verisi kullanılarak yazılan akademik makalelerde PISA verisinin yöntembilimsel olarak ne kadar doğru kullanılabildiği sınanmaktadır. ISI Web of Knowledge, Scopus ve ULAKBİM dizinlerinde PISA Türkiye verileri/sonuçları üzerine yazılmış 97 makaleye ulaşılmıştır. Bu makalelerin sadece 46'sında PISA Türkiye verisi kullanılarak özgün bir analiz yapıldığı tespit edilmiştir. Yöntembilimsel olarak incelenen 46 makalenin büyük çoğunluğunda ise örneklem ağırlıkları, olası değerler ve analizler için kullanılan yazılım gibi özelliklerden bahsedilmediği görülmüştür. Sadece 5 makalede örneklem ağırlıklarının doğru kullanımı rapor edilirken, olası değerler de sadece 10 makalede istatistiksel olarak uygun şekillerde kullanılmıştır. Bu sonuçlar PISA Türkiye verilerinin akademik yazında kullanımının çok sınırlı olduğunu göstermektedir. Dahası, PISA Türkiye verisi ile özgün analizler yapan makalelerin de büyük çoğunluğunda yöntembilimsel gerekliliklere uyulmadığını ve yapılan analizlerin büyük çoğunluğunun bu haliyle güvenilir olmaktan uzak olduğunu söylemek mümkündür. Bu haliyle PISA Türkiye verilerinin Türkiye'de eğitim politikalarına yön verme potansiyelinden hayli uzakta olduğunu söylenebilir