Journals / Türk Psikoloji Dergisi / 2004 / Cilt: 19 - Sayı: 53

Measurement Equivalence in Group Comparisons: Differential Item and Test Functioning

Gruplararası Karşılaştırmalarda Ölçek Eşdeğerliğinin İncelenmesi: Madde ve Test Fonksiyonlarının Farklılaşması

Pages
69–86
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

According to the results, all of the 16 items fitted to the two-parameter logistic model, but 5 items of the agreeableness scale showed differential item functioning between girls and boys.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:Both in within and cross-cultural settings, measurement equivalence is one of the most important methodological problems in comparisons of group differences.
📊
Key Findings & Data:In this study, DIF analyses of 16 items of a personality scale (agreeableness) were performed on a student sample (1807 subjects).
💡
Conclusion & Impact:According to the results, all of the 16 items fitted to the two-parameter logistic model, but 5 items of the agreeableness scale showed differential item functioning between girls and boys.
🔬Design:Modeling & Simulation
📍Scope:Comprehensive Sample
⚙️Variables:Domain Parameters

Abstract

Both in within and cross-cultural settings, measurement equivalence is one of the most important methodological problems in comparisons of group differences. Models based on Item Response Theory are being widely used in recent years in holding measurement equivalence. These models (generally take place under the title of Differential Item-Test Functioning-DIF, DTF) refer to the methods analyzing the relations between observed scores and the latent attribute measured by the test, across comparison groups. The existence of DIF-DTF is evidenced when these relations are different across comparison groups. DIF is defined as differences in the probability of endorsing an item between members of the reference and focal groups having the same latent trait level. In this study, DIF analyses of 16 items of a personality scale (agreeableness) were performed on a student sample (1807 subjects). According to the results, all of the 16 items fitted to the two-parameter logistic model, but 5 items of the agreeableness scale showed differential item functioning between girls and boys. The properties of these DIF items and how to handle them are discussed.

Özet

Gerek kültürlerarası karşılaştırmalarda, gerek belirli bir kültür içerisindeki gruplararası karşılaştırmalarda ölçme eşdeğerliğinin sağlanması temel metodolojik problemlerden birisini oluşturmaktadır. Ölçme eşdeğerliğinin incelenmesinde son yıllarda giderek yaygınlaşan madde-cevap kuramına dayalı modellerden yararlanılmaktadır. Madde ve Test Fonksiyonlarının Farklılaşması (Differential Item-Test Functioning, DIF-DTF) genel başlığı altında ele alınan bu modeller, gözlenen test puanları ile bunların altında yatan örtük özellik arasındaki ilişkinin, karşılaştırma grupları açısından eşit olup olmadığının incelenmesine dayalıdır. Ölçülen özellik bakımından aynı düzeyde bulunan, fakat farklı gruplara ait kişilerin maddeyi anahtarlanan yönde cevaplama olasılıkları farklılaştığında, madde fonksiyonlarının farklılaşması ya da maddenin karşılaştırma grupları için yanlı olması söz konusudur. Araştırmamızda 1807 kişilik bir öğrenci örneklemi üzerinde, bir kişilik alt ölçeğinin (Yumuşak Başlılık) 16 maddesinin kız ve erkek öğrenciler için madde fonksiyonlarının farklılıkları incelenmiştir. Yapılan analizler sonucunda 16 maddenin hepsinin iki parametreli modele uyum sağladığı, beş maddenin kız ve erkek öğrenciler arasında farklılık gösterdiği görülmüş, bu maddelerin özellikleri incelenmiş, toplam ölçek bazında nasıl ele alınabileceği tartışılmıştır.

🔖

Cite This Article

SOMER, O. (2004). Measurement Equivalence in Group Comparisons: Differential Item and Test Functioning. Türk Psikoloji Dergisi, Cilt: 19 - Sayı: 53, 69–86. https://ajindex.com/articles/357659

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (11)

  1. Ackerman, T. A. (1989). Unidimensional IRT calibration ofcompensatory and non-compensatory multidimensionalitems. Applied Psychological Measurement, 13(2),113-117.
  2. Byrne, B. M., Shavelson, R. J., & Muthen, B. (1989). Testing theequivalence of factor covariance and mean structures:the issue of partial measurement invariance.Psychological Bulletin, 105 (3), 456-466.
  3. Camilli, G., & Shepard, L. A. (1994). Methods for IdentifyingBiased Test Items. California: Sage Pub. Inc. Collins, C. C., Raju, S. N., & Edwards, J. E. (2000). Assessingdifferential functioning in a satisfaction scale. Journal ofApplied Psychology,85(3), 451-461.
  4. Ellis, B. B., & Mead A. D. (2000). Assessment of measurementequivalence of a Spanish translation of the 16PFQuestioanaire. Educational and PsychologicalMeasurement,60(5), 787-807.
  5. Ferrando, P. J. (2001). The measurement of neuroticism usingMMQ, MPI, EPI and EPQ items: a psychometricanalysis based on item response theory. Personality andIndividual Differences,30, 641-656.
  6. Geisinger, K. F. (1994). Cross-cultural normative assesment:translation and adaptation issues influencing thenormative interpretation of assesment instruments.Psychological Assesment, 6(4), 304-312.
  7. Hambleton, R. K., Frederic, R., & Xing, D. (2000). ItemResponse Models for the analysis of educational andpsychological test data Personality Research. In (Eds.) H.E. A. Tinsley & S. D. Brown, Handbook of AppliedMultivariate Statistics and Mathematical Modeling.(pp. 553-581). San Diago: Academic Press.
  8. Hambleton, R. K., & Swaminathan, H. (1989).
  9. Item ResponseTheory, Principles and Applications. Kluwer NijhoffPublishing, Boston. Hambleton, R. K., Swaminathan, H., & Rogers. H. J. (1991).Fundamentals of Item Response Theory. Sage Pub. CA. Hayduk, L. A. (1987). Structural Equation Modeling withLISREL, Essentials and advances. The John HopkinsPress Ltd., London. Hoijtink, H., Rooks, G., & Wilmink, F. W. (1999). ConfirmatoryFactor analysis of items with a dichotomous responseformat using the multidimensional Rasch Model.Psychologicl Methods, 4 (3), 300-314.
  10. Hulin, C. L., Drasgow, F., & Parsons, C. K. (1983). ItemResponse Theory: Application to PsychologicalMeasurement. Illinois: Dow Jones-Irwin. Kim, S-H., & Cohen, A. S. (1995). A comparison of Lord’sChi-Square, Raju’s Area Measures, and Likelihood RatioTests on detection of Differential Item functioning.Applied Measurement in Education, 8(4), 291-312
  11. Lambert M. C., Schmitt, N., Vaughan, m. E. S., An, J. S.,Fairclough, M., & Nutt