Cross-cultural equivalence of the pısa student questionnaire

Abstract

In this study, cross-lingual and cross-cultural equivalence of the Programme for International Student Assessment (PISA) 2006 Student Questionnaire was assessed comparatively across Turkey, the United States of America, Australia, and New Zealand samples. At the first stage of this study, the factor structure of the questionnaire constructs was examined using Confirmatory Factor Analysis (CFA). At the second stage, Multi-Group Confirmatory Factor Analyses (MG-CFA) based on Mean and Covariance Structures (MACS; Sörbom, 1974) were conducted in order to determine whether the questionnaire items exhibit differential item functioning (DIF) across different cultures or languages. At the last stage, causes of DIF were identified by expert judgments. CFA results showed that the measurement model had the same factor structure across samples. MG-CFA results indicated that some items exhibited DIF between countries. It is observed that as the linguistic and cultural differences increased between countries, the number of DIF items increased. The main reasons for DIF were found to be due to poor translation and differences in cultural relevance.

Özet

Bu araştırmada Uluslararası Öğrenci Değerlendirme Programı (PISA) 2006 kapsamında uygulanan öğrenci anketinin kültürler ve diller arası eşdeğerliği, Avustralya, Yeni Zelanda, Amerika Birleşik Devletleri ve Türkiye örneklemleri üzerinde karşılaştırmalı olarak incelenmiştir. Araştırmanın birinci aşamasında, öğrenci anketinin faktör yapısı Doğrulayıcı Faktör Analizi (DFA) yöntemiyle incelenmiştir. İkinci aşamada ise, Ortalama ve Kovaryans Yapıları (OKY; Sörbom, 1974) metoduna dayanan Çoklu Grup Doğrulayıcı Faktör Analizi (ÇG-DFA) kullanılarak anket maddelerinin farklı kültürler ve diller arasında Değişen Madde Fonksiyonu (DMF) gösterip göstermediği araştırılmıştır. Son aşamada, uzman görüşlerine başvurularak, maddelerin DMF göstermesinin nedenleri belirlenmeye çalışılmıştır. DFA sonuçları ölçme modelinin tüm örneklemlerde aynı faktör yapısına sahip olduğunu göstermiştir. ÇG-DFA bulguları ülkeler arasında değişen fonksiyon gösteren maddelerin olduğunu ortaya koymuştur. Ülkeler arasında dilsel ve kültürel farklılıklar arttıkça DMF gösteren maddelerin sayısının da arttığı gözlenmiştir. Maddelerin DMF göstermesinin asıl nedenlerinin çeviri problemleri ve kültürel farklılıklar olduğu sonucuna varılmıştır.