Journals / Hacettepe Üniversitesi Eğitim Fakültesi Dergisi / 2012 / Cilt: 2012 - Sayı: 43

Comparing different diffential item functioning methods: A simulation study

Değişen madde fonksiyonunun belirlenmesinde kullanılan farklı yöntemlerin karşılaştırılması: Bir simülasyon çalışması

Pages
270–281
Publication Date
2022-10-19
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

As a result, MH, SIBTEST and 1RT-LR methods present consistent result in determining uniform DIF in all conditions, l^urthermore. consistent results were found in identifying non-uniform DIF with LR, SIBTEST and IRT-LR methods.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:The primary purpose of this research is to compare and evaluate the effectiveness of observed score methods -Mantel-Haenszel. logistic regression- and latent score methods -IRT-LR, SIBTEST- which used to determine DIF under variety conditions.
📊
Key Findings & Data:These methods were compared by simulation study.
💡
Conclusion & Impact:As a result, MH, SIBTEST and 1RT-LR methods present consistent result in determining uniform DIF in all conditions, l^urthermore. consistent results were found in identifying non-uniform DIF with LR, SIBTEST and IRT-LR methods.
🔬Design:Research Article
📍Scope:Comprehensive Sample
⚙️Variables:Domain Parameters

Abstract

The primary purpose of this research is to compare and evaluate the effectiveness of observed score methods -Mantel-Haenszel. logistic regression- and latent score methods -IRT-LR, SIBTEST- which used to determine DIF under variety conditions. These methods were compared by simulation study. Sample sizes, ability distribution, proportion of items with DIF were considered for data simulation conditions. Results of this research revealed that latent score methods were more sensitive and effective in determining items with DIF rather than observed score methods. Latent score methods were more liberal and observed score methods were more conservative in identifying items with DIF. As a result, MH, SIBTEST and 1RT-LR methods present consistent result in determining uniform DIF in all conditions, l^urthermore. consistent results were found in identifying non-uniform DIF with LR, SIBTEST and IRT-LR methods.

Özet

Bu araştırmanın amacı değişen madde fonksiyonunun (DMF) belirlenmesinde kııllanilan gözlenen puan yöntemlerinden Mantel-Haenszel ve lojistik regresyotı yöntemleri ile örtük puan yöntemlerinden MTK-00 ve SİBTFST yöntemlerinin karşılaştırılmasıdır. Yöntemlerin karşılaştırılması simulasyon çalışmasıyla yapılmıştır. Simıılasyon koşulları önıeklem büyüklüğü, yetenek dağılımı ve testteki DMF'li madde oranıdır. Araştırmada kullanılan örtük puan yöntemlerinin gözlenen puan yöntemlerine göre DMF'li maddeleri belirlemede daha duyarlı ve etkili olduğu görülmüştür. Araştırmada. UVnin diğer yöntemlere göre DMF belirleme oranının daha diişiik olduğu, MTK-00'nun ise daha yükseli olduğu sonucuna varılmıştır Tek biçimli DMF'yi belirlemede MH, SİBTEST ve MTK-00 yöntemleri; tek biçimli olmayan DM'F'yi belirlemede ise U SIBTEST ve MTK-00 yöntemleri birbiriyle uyumlu sonuçlar vermiştir.

🔖

Cite This Article

ATALAY, K., GÖK, B., ARSAN, N., KELECİOĞLU, H. (2022). Comparing different diffential item functioning methods: A simulation study. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, Cilt: 2012 - Sayı: 43, 270–281. https://ajindex.com/articles/532126

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (9)

  1. Agresti, A. (1984). Analysis of ordinal categorical data. Newyork: John Wiley & Sons. Atar B. (2007). Differential item functioning analyses for mixed response data using hi likelihood raiiotest, logistic regression tiial gllamnt procedures. Unpublished doctoral thesis. The Florida State University, Florida State. Bakan Kalaycioğlu, D. (2009). Öğrenci Seçme Sınavı'run madde yanlılığı açısından incelenmesi. Yayınlanmamış doktora tezi. Hacettepe Üniversitesi,
  2. Sosyal Bilimler Enstitüsü, Ankara.
  3. Bekci, B. (-007). Orta Öğretim Kurumları Öğrenci Seçme re Yerleştirme Sınavı 'run değişen madde fonksiyonlarının cinsiyete ve oku! türüne göre incelenmesi. Yiiksek lisans tezi. Hacettepe Üniversitesi,
  4. Sosyal Bilimler Enstitüsü, Ankara.
  5. Berbcroğlu, G., ve Kalaycioğlu Bakan, D. (2010, in Press}. Differential item functioning analysis of the science and mathematics items in the university entrance examinations in Turkey. Journal of Psychoeducational Assessment. Camilli, G. (2006). Test fairness. In R. L. Brennan (Ed.), Educational measurement (4liled.,Vol. 4, pp. 221-256). Westport: American Council on Education & Praeger Publishers.
  6. Camilli, G., & Shepard, L. A. (1994). Methods for identifying biased test items. London: Sage Publications. Chang. Mazzeo, J., & Roussos, L. (1996). Detecting DIP for polytomously scored items: An adaptation of the SIBTEST procedure. Journal of Educational Measurement, 33(3), 333-353.
  7. Cheng (2005). A study on differential item functioning of the basic mathematical competence test for junior high schools in Taiwian. Unpublished doctoral thesis, Michigan State University. Clauser, B. E. & Mazor, IC. M. (1998). Using statistical procedures to identify differential item functioning test items. Educational Measurement: Issues and Practice,.17, 31-44.
  8. Clauser, E. B., Mazor, K., & Hambleton, ICR. (1993). The effects of purification of the matching criterion on the identification of DIP using t h e Mantel - Haenszel procedure. Applied Measurement in Education, 6(4), 269-279.
  9. Dorans, N. J., & Holland, P.W. (1993). DIF detection and description: Mantel-FIaenszel and Standardization. Dijferantial item functioning, in P.W. Holland & H.Wainer (Eds.), Differential item functioning (pp. 35-66). Hillsdale. NJ: Lawrence Erlhaum Associates. Fidalgo. A. M., Ferreres, D., & Muniz,.1. (2004). Liberal and conservative differential item functioning detection using Mantel-Haenszel and SIBTEST: implications for Type I and Type II error rates. Journal of Experiment