Journals / Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi / 2021 / Cilt: 12 - Sayı: 2

Investigation of Psychometric Properties of Likert Items with Same Categories Using Polytomous Item Response Theory Models

Pages
129–146
Publication Date
2021-06-30
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

The study illustrates how polytomous response models can be used to test the psychometric quality of items with ordinal rating scales.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:The purpose of this study was to investigate within- and between-threshold parameter invariance for items of a fourteen-item Positive Affect Scale developed to assess positive moods (like happy, peaceful, etc.) of university students.
📊
Key Findings & Data:To test whether the estimated threshold parameters were as expected (1 to 5, with increments of 1) across all the 14 items, Graded Response, Partial Credit, and Rating Scale Models were fit the response data collected from 326 students.
💡
Conclusion & Impact:The study illustrates how polytomous response models can be used to test the psychometric quality of items with ordinal rating scales.
🔬Design:Modeling & Simulation
📍Scope:Comprehensive Sample
⚙️Variables:likert · pozitif duygu durumu · madde parametre kestirimi

Abstract

The purpose of this study was to investigate within- and between-threshold parameter invariance for items of a fourteen-item Positive Affect Scale developed to assess positive moods (like happy, peaceful, etc.) of university students. To test whether the estimated threshold parameters were as expected (1 to 5, with increments of 1) across all the 14 items, Graded Response, Partial Credit, and Rating Scale Models were fit the response data collected from 326 students. A comparison of the model fit statistics, such as the negative 2log likelihood and chi-square values, revealed that the Graded Response Model had the best fit and that the thresholds estimates for all the items in the Positive Affective Scale were reasonably close to the expected 1 to 5 values with increments of 1. The study illustrates how polytomous response models can be used to test the psychometric quality of items with ordinal rating scales.

Özet

Bu çalışmada, pozitif duygu durumlarının (mutlu, huzurlu gibi) ölçülmesinde kullanılmak üzere geliştirilen 14 maddelik Pozitif Duygu Durum Ölçeği’nde yer alan likert tipi maddelerin beşli tepki kategorileri için maddeler-içi ve maddeler-arası geçişlilik özellikleri Aşamalı Tepki Modeli, Kısmi Puanlama Modeli ve Dereceli Ölçekleme Modeli kullanılarak karşılaştırmalı olarak incelenmiştir. Her bir model için, model veri uyumu, ölçekte yer alan maddelerin tepki kategorileri, kategori eşik (threshold) değerleri ve kategori sıraları hesaplanmış, maddeler arası eşdeğerlik varsayımının ne kadar sağlandığı incelenmiştir. Model veri uyumu, model kestirimlerinden elde edilen -2log likelihood ki-kare değerleri, AIC ve BIC değerleri kullanılarak değerlendirilmiştir. Uygulama verisinde 339 gönüllü katılımcı yer almaktadır ve ölçek için hesaplanan Cronbach α güvenirlik katsayısı 0.92’dir. Analizler ölçeğin tek boyutlu bir yapıya sahip olduğunu göstermektedir. Model-veri uyumu değerlendirmesi sonucunda veriye en iyi uyum sağlayan modelin Aşamalı Tepki Modeli olduğu sonucu elde edilmiştir. Aşamalı Tepki Modeli ile parametre kestirimi yapılan maddeler için gözlenen kategori eşik parametrelerinin hem madde içlerinde beklendiği gibi neredeyse eşit aralıklar ile sıralı olduğu hem de bu aralıkların ölçeği oluşturan tüm maddeler için karşılaştırılabilir olduğu sonucu elde edilmiştir.

🔖

Cite This Article

SÖZER, E., KAHRAMAN, N. (2021). Investigation of Psychometric Properties of Likert Items with Same Categories Using Polytomous Item Response Theory Models. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, Cilt: 12 - Sayı: 2, 129–146. https://ajindex.com/articles/218018

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (2)

  1. Andrich, D. (1978). A rating formulation for ordered response categories. Psychometrika, 43(4), 561-573. doi: 10.1007/BF02293814 Baker, F. B. (2001). The basis of item response theory. USA: ERIC Clearing house on Assessment and Evaluation. Baker, J. G., Rounds, J. B., & Zevon, M. A. (2000). A comparison of graded response and Rasch partial credit models with subjective well-being. Journal of Educational and Behavioral Statistics, 25(3), 253-270. doi: 10.3102/10769986025003253 Brown, T. A. (2015). Confirmatory factor analysis for applied research. New York, NY: Guilford. Caycho-Rodríguez, T., Vilca, L. W., Carbajal-León, C., White, M., Vivanco-Vidal, A., Saroli-Araníbar, D.,., Moreta-Herrera, R. (2021). Coronavirus anxiety scale: New psychometric evidence for the Spanish version based on CFA and IRT models in a Peruvian sample. Death Studies. doi: 10.1080/07481187.2020.1865480 Chalmers, R. P. (2012). mirt: A multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), 1-29. doi: 10.18637/jss.v048.i06 Chernyshenko, O. S., Stark, S., Chan, K. Y., Drasgow, F., & Williams, B. (2001). Fitting item response theory models to two personality inventories: issues and insights. Multivariate Behavioral Research, 36(4), 523-562. doi: 10.1207/S15327906MBR3604_03 Cho, S., Drasgow, F., & Cao, M. (2015). An investigation of emotional intelligence measures using item response theory. Psychological Assessment, 27(4), 1241-1252. doi: 10.1037/pas0000132 de Ayala, R. J., Dodd, B. G., & Koch, W. R. (1990, April). A comparison of the partial credit and graded response model in computerized adaptive testing. Paper presented at the AERA Annual Meeting. Boston. DeMars, C. (2010). Item response theory: Understanding statistics measurement. Oxford: Oxford University Press.
  2. Demirtaşlı, N., Yalçın, S., & Ayan, C. (2016). The development of irt based attitude scale towards educational measurement course. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(7), 133-144. doi: 10.21031/epod.43804 Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. New Jersey: LEA publishers. Ferrando, P., Lorenzo, U., & Molina, G. (2001). An item response theory analysis of response stability in personality measurement. Applied Psychological Measurement, 25(1), 3-17. doi: 10.1177/01466216010251001 Flannery, W. P., Reise, S. P., & Widaman, K. F. (1995). An item response theory analysis of the general and academic scales of th