Journals / Gazi Eğitim Fakültesi Dergisi / 2021 / Cilt: 41 - Sayı: 2

Investigating Measurement Invariance for Longitudinal Assessments: An Application Using Repeated Data Over Four Weeks

Boylamsal Uygulamalar için Ölçme Değişmezliği: Dört Tekrarlı Uygulama Verileri Üzerine Bir Çalışma

Pages
729–763
Publication Date
2022-10-18
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

The approach is recommended for studies investigating longitudinal measurement invariance of scales if and when repeated measurements are taken for the primary purpose of tracking the inter-individual change of subjects, such as growth, and learning.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:In order to adequately assess inter-individual change using two or more subsequently observed scores on a person, it is often assumed that the measurement scales and occasions are psychometrically equivalent (or invariant).
📊
Key Findings & Data:Application data were collected from 215 students volunteered to respond to a mood scale weekly, over four weeks.
💡
Conclusion & Impact:The approach is recommended for studies investigating longitudinal measurement invariance of scales if and when repeated measurements are taken for the primary purpose of tracking the inter-individual change of subjects, such as growth, and learning.
🔬Design:Modeling & Simulation
📍Scope:Comprehensive Sample
⚙️Variables:Domain Parameters

Abstract

In order to adequately assess inter-individual change using two or more subsequently observed scores on a person, it is often assumed that the measurement scales and occasions are psychometrically equivalent (or invariant). This study investigates the usefulness of Latent Growth Curve Modeling in investigating the viability of this assumption when the trait of interest is expected to show at least some degree of variance over time that is construct-related. Application data were collected from 215 students volunteered to respond to a mood scale weekly, over four weeks. Several Latent Growth Curve Models were formulated and tested under a full model distinguishing gamma and beta changes, referring to configural and weak factorial invariance, respectively. The findings were in alignment with the expectations and support that the estimated factorial structure of the Mood Scale remains the same over the weeks (no gamma change), yet, estimated item factor loadings are subject to some change (beta change). Albeit limited, the results of this study nicely illustrate how a Latent Growth Curve Modeling approach can be added to the conventional measurement invariance studies to partition the amount of variance observed over time into 1) construct-relevant and 2) construct-irrelevant components. The approach is recommended for studies investigating longitudinal measurement invariance of scales if and when repeated measurements are taken for the primary purpose of tracking the inter-individual change of subjects, such as growth, and learning.

Özet

Bu çalışmada, haftalık pozitif duygu durumu değişimlerini izleme amacı ile dört hafta boyunca uygulanan bir ‘Pozitif Duygu Durum Ölçeği’ için haftalar arası boylamsal ölçme değişmezliği incelenmiştir. Dört hafta boyunca her hafta aynı gün ve aynı ölçek ile alınan ölçümlerin haftalar arası aynı yapıyı gösterip göstermediği, boylamsal çalışmalarda gama ve beta değişimleri olarak adlandırılan değişim türleri temel alınarak incelenmiştir. Bu çalışmada gama ve beta değişimleri, ölçme değişmezliği açısından sırasıyla şekilsel, metrik ve ölçek değişmezliği aşamaları çerçevesinde ve boylamsal istatistiksel yöntemler kullanılarak çalışılmıştır. Analizler, uygulamayı tamamlayan 215 gönüllü üniversite öğrencisinden toplanan haftalık pozitif duygu durumu ölçümleri üzerinden gerçekleştirilmiştir. Ölçülen özelliğin doğasından kaynaklanan nedenlerle sadece bireyler-arası değil aynı zamanda, zaman içinde oluşabilecek birey-içi değişimleri de içermesi beklendiğinden değişimin incelenmesinde ‘Örtük Büyüme Modelleri’ kullanılmıştır. Birbiri içine yuvalanmış bir seri model hesaplaması ve model karşılaştırmalarından elde edilen sonuçlar incelendiğinde, ölçeğin faktör yapısının haftalık zaman noktaları arasında değişmediği, beklendiği gibi her bir zaman noktasında özelliği tek bir boyut olarak ölçtüğü; faktör yük değerlerinin de haftalar arası değişim göstermediği ancak kesişim değerlerinin haftalar arası değişim gösterdiği sonucuna ulaşılmıştır. Diğer bir ifadeyle, çalışılan ölçeğin şekilsel değişmezliği sağladığı ve gama değişimi göstermediği, metrik değişmezliği sağlamasına karşın ölçek değişmezliğini sağlayamadığı için beta değişimi gösterdiği belirlenmiştir. Çalışmanın bulguları, kullanılan uygulama örneği ile sınırlı olsa da alan uygulamalarında gittikçe daha çok yer bulmaya başlayan tekrarlı yapılan ölçme uygulamaları ile toplanan verilerin analizlerinde ihtiyaç duyulacak boylamsal ölçme değişmezliği yöntemlerinin kullanılması ve geliştirilmesi ihtiyacına dikkat çekecek niteliktedir.

🔖

Cite This Article

KAHRAMAN, N., SÖZER, E., EREN, B. (2022). Investigating Measurement Invariance for Longitudinal Assessments: An Application Using Repeated Data Over Four Weeks. Gazi Eğitim Fakültesi Dergisi, Cilt: 41 - Sayı: 2, 729–763. https://ajindex.com/articles/519307

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (9)

  1. Anderson, J. C., & Gerbing, D. W. (1987). Structural equation modeling in practice: a review and recommended two-step approach. Psychological Bulletin, 103, 411-423.
  2. Armenakis, A. A., & Zmuid, R. W. (1979). Interpreting the measurement of change in organizational research. Personnel Psychology, 32. Aşkar P. & Yurdugül, h. (2009). Örtük büyüme modellerinin eğitim araştırmalarında kullanımı. İlköğretim Online, 8(2), 534-555.
  3. Black, P., & William, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 1(1). Boomsma, A. (1985). Nonconvergence, improper solutions, and starting values in LISREL maximum likelihood estimation. Psychometrika, 50, 229–242.
  4. Chan, D. (1998). The conceptualization and analysis of change over time: an integrative approach incorporating longitudinal mean and covariance structures analysis (LMACS) and multiple indicator latent growth modeling (MLGM). Organizational Research Methods, 1, 421-483.
  5. Cheung, G. W., & Rensvold, R. B. (1999). Testing factorial invariance across groups: a reconceptualization and proposed new method. Journal of Management, 25, 1-27.
  6. Cooke, D. J., Kosson, D. S., & Michie C. (2001a). Psychopathy and ethnicity: Structural, item, and test generalizability of the Psychopathy Checklist-Revised in Caucasian and African American participants. Psychological Assessment, 13, 531–542
  7. Coertjens, L., Donche, V., De Maeyer, S., Vanthournout, G., & Van Petegem, P. (2012). Longitudinal measurement invariance of Likert-type learning strategy scales: are we using the same ruler at each wave? Journal of Psychoeducational Assessment, 30, 577–587. doi:10.1177/0734282912438844. de Beurs, D. P., Fokkema, M., de Groot, M., de Keijser, J., & Kerkhof, J. F. (2015). Longitudinal measurement invariance of the Beck Scale for suicide ideation. Psychiatry Research, 225, 368-373. de Jonge, J., van der Linden, S., Schaufeli, W., Peter, R., & Siegrist, J. (2008). Factorial invariance and stability of the effort-reward imbalance scales: a longitudinal analysis of two samples with different time lags. International Journal of Behavioral Medicine, 15, 62-72.
  8. Eid, M., Holtmann, J., Santagelo, P., & Ebner-Priemer, U. (2017). On the definition of Latent-State- Trait Models with auto-regressive effects. European Journal of Psychological Assessment, 33(4), 285-295.
  9. Euser, A. M., Zoccali, C., Jager, K. J. & Dekker, F. W. (2009). Cohort studies: prospective versus retrospective. Nephron Clinical Practi