Examining Scale Items in Terms of Method Effects Based on the Bifactor Item Response Theory Model

Ölçek İfadelerinin Ölçme Yöntemi Etkisi Açısından İki Faktör Modeline Dayalı Olarak İncelenmesi

Abstract

Purpose: The current study aims to apply a one-dimensional (the graded response model) and a multidimensional (the bifactormodel) item response theory model to evaluate the presence of method effects on the data obtaining from the administrationof the scale measuring emotional school engagement of students as a part of 2015 Programme for International StudentAssessment (PISA).Design/Methodology/Approach: The model data fits of the one-dimensional and bifactor model conceptualizations werecompared on the data obtained from a large sample of Turkey school children.Findings: The item parameters and model data fit statistics provided evidences for that the school engagement scale of thePISA 2015 measures a primary construct (the emotional school engagement) with two nuisance factors (the negative andpositive wording effects).Highlights: The results of the present study supported the use of bifactor model in evaluating the presence of method effects.Therefore, researchers using the Emotional School Engagement Scale of PISA are recommended to utilize more sophisticatedstatistical techniques such as the bifactor item response theory model.

Özet

Çalışmanın amacı: Bu araştırmanın amacı, PISA 2015 Okula Yönelik Duygusal Bağlılık Ölçeği’nin uygulanmasından elde edilen veri üzerinde ölçme yöntemi etkisinin tek boyutlu (aşamalı tepki modeli) ve çok boyutlu (iki faktör modeli) madde tepki kuramı modellerine dayalı olarak incelenmesidir Materyal ve Yöntem: Tek boyutlu ve iki faktör modellerinin model veri uyumları Türkiye öğrenci örnekleminden elde edilen veri üzerinde karşılaştırılmıştır. Bulgular: Madde parametreleri ve model veri uyumu istatistikleri, PISA 2015 Okula Yönelik Duygusal Bağlılık Ölçeği’nin bir baskın boyutun (duygusal bağlılık) yanında biri olumlu diğeri olumsuz maddelerden oluşan iki boyutu daha ölçtüğüne ilişkin bulgular sağlamıştır. Önemli Vurgular: Bu araştırmanın bulguları ölçme yöntemi etkisinin analizinde iki faktör modelinin kullanılmasını desteklemiştir. Bu nedenle, PISA Okula Yönelik Duygusal Bağlılık Ölçeği’ni kullanacak araştırmacılara iki faktör modeli gibi daha ileri istatistiksel teknikler kullanmaları önerilmiştir.