Examination of the TIMSS 2011 Fourth Grade Mathematics Test in Terms of Cross-Cultural Measurement Invariance

TIMSS 2011 Dördüncü Sınıf Matematik Testinin Kültürlerarası Ölçme Değişmezliğinin İncelenmesi

Abstract

Problem Statement: Student achievement is considered an indicator of the quality of education, and achievement tests are applied to assess student achievement. International tests are adapted into different languages and cultures with the aim of assessing student achievement on an international level and comparing the achievements of different countries. In our country, a number of tests at the national and international levels are conducted to assess student achievement. One of the tests conducted in our country is called Trends in International Mathematics and Science Study (TIMSS). Countries structure their curricula and education policies based on the results of these studies. However, in order for these comparisons to be meaningful, the constructs measured by the tests should be equivalent. When the relevant literature was examined, it was observed that the number of studies on cross-cultural invariance in Turkey was low and that these studies did not involve TIMSS 2011.Purpose of the Study: The purpose of this study was to examine the measurement invariance of TIMSS 2011 mathematics test in terms of different cultures.Method: Aiming at examining the intercultural measurement invariance of the TIMSS 2011 mathematics test, this is a survey model that tries to describe an existing situation as it is. The study sample was composed of 1,987 fourth graders from Turkey, England, Japan and the USA. This study was conducted on the data obtained from the TIMSS 2011 mathematics test. Model invariance was examined through multi-group confirmatory factor analysis. LISREL 8.80 for Windows software was used for performance of data analysis.Findings and Results: The study of measurement invariance was conducted in four steps. It was found that the proposed model was confirmed for all countries, and configural invariance was ensured in the first step, while metric invariance was not ensured in the second step. Therefore, we did not start the scalar invariance or strict invariance analyses. After this step, metric invariance was tested through binary and trilateral combinations in order to determine in which country the invariance was collapsed. It was found that the reason why the metric invariance wasn’t ensured was that it was not sourced from only one country. Conclusions and Recommendations: According to the findings, the invariance across four countries was ensured only in the configural invariance step. Therefore, the items causing the model not to have measurement invariance can be determined, as well as whether the items demonstrated DIF across groups. The items determined to demonstrate DIF can be examined in terms of bias of sources, depending on the expert opinions

Özet

Problem Durumu: Eğitim; bir yandan yeni ve eski değerleri bağdaştırarak kültürel aktarımla toplumsal devamlılığı sağlarken; diğer yandan toplumun yaşamasını ve kalkınmasını devam ettirebilecek ölçüde ve nitelikte değer üreterek, kültürel mirasa yeni kazanımlar ekleyecek insan gücünü yetiştirerek aynı toplumu bir adım ileriye götürmesini sağlamaktadır. Eğitim sonucunda ise öğrenci başarısı, eğitimin niteliğinin bir göstergesi olarak ele alınmakta ve öğrenci başarısının değerlendirilmesinde de başarı testleri uygulanmaktadır. Bu testler ulusal ve uluslararası düzeyde olabilmektedir. Uluslararası düzeyde öğrenci başarılarını değerlendirmek ve farklı ülkelerin başarılarını karşılaştırmak amacıyla hazırlanan uluslararası düzeydeki testler ise farklı dillere ve kültürlere uyarlanmaktadır.Türkiye’de de öğrenci başarısının değerlendirilmesinde ulusal ve uluslararası düzeyde testler uygulanmaktadır. Uygulanan uluslararası testlerden biri de merkezi Hollanda’da bulunan Uluslararası Eğitim Başarılarını Değerlendirme Kuruluşu tarafından düzenlenen Uluslararası Matematik ve Fen Eğilimleri Araştırması (TIMSS)’dır. Öğrencilerin matematik ve fen bilimleri alanlarındaki kazandıkları bilgi ve becerilerini değerlendirmek, eğitimi ve öğretimi geliştirmek amacıyla ülkelerin eğitim sistemleri hakkında karşılaştırmalı veri toplamak TIMSS’in amaçları arasında yer almaktadır. Bu karşılaştırmanın anlamlı olabilmesi için testlerin ölçtüğü yapıların eşdeğer olması yani kullanılan testlerin ölçme değişmezliği/eşdeğerliğinin sağlanmış olması gerekir. Bu bağlamda testlerin, psikometrik bir özellik olarak ölçme değişmezliğine sahip olması, kültürlerarası karşılaştırmalarda, temel bir varsayımdır. Bir testin ölçme değişmezliğini karşılayabilmesi için, farklı gruplardan gelen fakat benzer yapıları ölçülen bireylerin, belirli bir puanı alma olasılığı eşit olmalıdır. Başka bir deyişle ölçme değişmezliğinin sağlanabilmesi için bir ölçme modelinin birden fazla grupta aynı yapıya sahip olması yani ölçme aracının maddelerinin, faktör yüklerinin, faktörler arası korelasyonlarının ve hata varyanslarının aynı olması gerekir. Ölçme eşdeğerliliği ise dört aşamada test edilir. Bunlar; 1. Yapısal değişmezlik: Bu aşamada grupların aynı faktör yapısına sahip olup olmadığı incelenir. Bu modelde kestirilen parametreler üzerinde gruplar arası değişmezlik sınırlandırması yapılmaz yani grupların farklı parametre değerleri almalarına izin verilir. 2. Metrik değişmezlik: Bu aşamada, farklı grupların maddelere aynı biçimde cevap verip vermediği incelenir. Bu modelde faktör yükleri gruplar arasında sınırlandırılır. 3. Skalar değişmezlik: Bu aşamada özel faktör ortalamalarının yani grupların faktör puanı sıfır olduğunda elde edilen regresyon sabitinin gruplar arasında benzer olup olmadığı incelenir. Bu modelde faktör yükleri sınırlandırmasının yanında sabit değer/katsayı sınırlamasına gidilir. 4. Tam değişmezlik: Bu son aşamada hata varyanslarının gruplarda farklılaşıp farklılaşmadığı incelenir. Ölçme modelindeki katı değişmezlik test edilirken bütün parametre sınırlamaları ile birlikte hata varyansları sınırlandırılırSonuçları ülke eğitim politikalarına yön vermede ve eğitim programlarının yeniden yapılandırılmasında büyük öneme sahip uluslararası eğitim araştırmalarına dayalı olarak karşılaştırmalar yapabilmek için kullanılan testlerin ölçtüğü yapıların eşdeğer olması gerekmektedir. Literatür incelendiğinde ise kültürlerarası değişmezliğin incelendiği çalışmaların Türkiye örneklemi için oldukça az olduğu ve bu yapılan çalışmaların TIMSS 2011 uygulamasını kapsamadığı görülmüştür. Bu bağlamda hem testlere dayalı yapılan çıkarımların gerekli ve güvenilir olduğunu belirlemek hem de sorunlar varsa kaynaklarını bulup gidermek açısından TIMSS 2011 uygulamasında yer alantestlerin farklı kültürlerdeki ülkeler arasında ölçme değişmezliğinin sağlanıp sağlanmadığının incelenmesine ihtiyaç duyulmuştur. Bu nedenle TIMSS 2011 Türkiye örnekleminin, anadili İngilizce olan ve olmayan farklı başarı düzeyinde ülkelerle ölçme değişmezliği açısından karşılaştırılması, varsa sorunların belirlenmesi ve daha geçerli güvenilir sonuçlar elde edebilmek ve karşılaştırmalar yapabilmek için yapılabilecek olası çözüm yollarının tartışılması gerekli görülmektedir. Bu amaçla çalışmada, TIMSS 2011 kapsamında yer alan Matematik testinin farklı kültürlerde kültürlerarası ölçme değişmezliği gösterip göstermediği incelenmiştir.Araştırmanın Amacı: Bu çalışmanın amacı TIMSS 2011 kapsamında yer alan Matematik testinin farklı kültürlere göre ölçme değişmezliğinin incelenmesidir. Bu genel amaç doğrultusunda bu çalışmada şu sorulara yanıt aranmıştır;TIMSS 2011’in kültürler arası;a) Yapısal değişmezliğine,b) Metrik değişmezliğine c) Skalar değişmezliğine ved) Tam değişmezliğine ilişkin kanıt bulunmakta mıdır? Araştırmanın Yöntemi: TIMSS 2011 kapsamında uygulanan matematik testinde yer alan yapıların kültürlerarası değişmezliğini incelemeyi amaçlayan bu araştırma, var olan bir durumu olduğu şekliyle araştırma söz konusu olduğundan tarama modelindedir. Araştırmanın evrenini TIMSS 2011 uygulamasına 4. Sınıf düzeyinde katılan 50 ülke oluşturmaktadır. Araştırmanın örneklemini ise TIMSS 2011 uygulamasına katılan 50 ülkeden amaçlı örnekleme yöntemi ile belirlenen Türkiye, İngiltere, Japonya ve Amerika Birleşik Devletleri’nden 1987 4. Sınıf öğrencisi oluşturmaktadır. Araştırmaya bu ülkelerin alınmasının amacı iki ülkenin (İngiltere ve Amerika Birleşik Devletleri) anadilinin İngilizce ve diğer iki ülkenin (Türkiye- Japonya) anadilinin İngilizce olmamasıdır. Kültürlerarası en önemli farklılıklardan biri olan dil öğesi, araştırmanın amacı doğrultusunda ülkelerin araştırmaya dahil edilmesinde etkili olmuştur. Araştırma TIMSS 2011 kapsamında uygulanan matematik testi sonuçlarından elde edilen veriler üzerinden yürütülmüştür. Çalışma için gerekli olan veriler http://timssandpirls.bc.edu/timss2011/international-database.html adresinden alınmıştır. TIMMS 2011 Matematik testleri 14 paralel kitapçıktan olu

Keywords: Ölçme eşdeğerliği, Çok gruplu doğrulayıcı faktör analizi, Yapısal eşitlik modeli.