Cross-cultural structural parameter invariance on PISA 2006 student questionnaires

PISA 2006 öğrenci anketinin yapısal parametrelerin kültürlerarası değişmezliğinin incelenmesi

Özet

The Program for International Student Assessment (PISA), OECD tarafından gerçekleştirilen bazı temel alanlarda öğrencilerin bilgi ve becerilerini değerlendirmeyi amaçlayan bir programıdır. PISA genel anlamda 15 yaş grubunda yer alan öğrencilerin, okuma, matematik ve fen bilimleri alanlarında öğrendikleri bilgi ve becerileri gerçek yaşam durumlarına uygulama ve uyarlayabilme yeteneğine odaklanmaktadır. PISA’nın değerlendirme süreçleri temelde, öğrencilerin öğrendiklerine ilişkin farkındalık düzeylerini ve bu öğrendikleri bilgileri okul veya okul dışı ortamlarda nasıl uygulayabildiklerini saptamayı amaçlamaktadır. PISA her uygulamasında, okuma, matematik ve fen bilimleri alanlarından birine derinlemesine odaklanmakta, ancak diğer iki alanda da değerlendirme yapmaktadır. PISA’nın 2006 yılındaki uygulamasında topladığı veriler öğrencilerin başarı düzeylerinin yanı sıra; öz-bildirimli (self-report) tutumlar, ilgiler, motivasyon, öğrenme davranışları gibi değişkenlerle ilgilidir. Anketlerden elde edilen veriler genelde öğrenci performanslarındaki değişkenliği açıklamada kullanmak üzere toplanmaktadır. Araştırmanın Amacı PISA gibi kültürler arası çalışmalarda, ölçekler farklı ülkelere uygulandığı için tek bir form kullanılması mümkün değildir, o ülkelerin diline çevrilmesi gerekir. Dil farklılıkları ölçek eşitsizlikleri üzerinde güçlü bir etkiye sahip olabilir. Bununla birlikte, farklı ülkelerin farklı kültür ve dil durumlarından dolayı, çeviri testler tüm kültürlerde aynı şekilde işlev görmeyebilir. Bu durum testin eşit olamayabildiği veya farklı kültürler için adil olamadığı şeklinde isimlendirilebilmektedir. Çoklu-grup doğrulayıcı faktör analiz (DFA) modeli testin faktör yapısı, faktör yükleri ve faktör korelasyonları, hata varyansları değişmezliğini veya eşitliğini test etme yoluyla bir ölçme aracının kültürlerarası geçerliğini değerlendirme yöntemi olarak bilinir. Bu araştırma fen bilimleri bağlamıyla ilgili PISA anketinin faktör yapısını ve 10 ülke örneklemi arasında anketin eşitliğini çoklu-grup doğrulayıcı faktör analizi kullanarak incelemeyi amaçlamaktadır.

Abstract

Problem Statement: In cross-cultural studies such as PISA, it is not possible to use a single form, since the scales are applied to different countries, and it is necessary to translate the form into the language of the country that will use it. Language differences may have a strong impact on measurement inequalities. Nevertheless, translated tests may not function in the same way, because of different culture and language characteristics of different countries. This situation may be described as the test not being equivalent, or fair, for different cultures. Translation is the first step of a long-lasting process in adapting the test to different cultures; the basic objective of adaptation is to preserve the structural equivalence between the versions of two or more languages, and to protect the test content. Purpose of Study: This study aims to examine the factorial invariance of some of the PISA questionnaire in relation to its scientific context, and the equality of the questionnaire across the ten countries, by a multi-group confirmatory factor analysis model. Methods: In this study, samplings from ten countries were used. For the crosscultural invariance of PISA questionnaires, a set of confirmatory factor analysis procedures were used. If the introduction of a set of invariance constraints results in a substantial reduction in goodness of fit, then there is evidence against the appropriateness of those invariance constraints. Confirmatory factor analyses were conducted with LISREL. Findings and Results: As a result, in the model in which there is a constraint indicating that factor loadings should be equal for all countries, there is no evidence of a decrease in fit index level, exceeding the criterion in comparison to the baseline model. This result strongly supports the conclusion that factor loadings do not vary from one country to another. However, in the model in which error variances are also constrained, NNFI and RFI fit indexes show higher declines than .01, when compared to the baseline model. Conclusions and Recommendations: This finding indicates that error variances may vary from one country to another. Furthermore, fit indexes show higher decreases, exceeding the limits in the model in which there is a constraint on equivalency of correlations between factors, when compared to the baseline model.