Journals / Hacettepe Üniversitesi Eğitim Fakültesi Dergisi / 2016 / Cilt: 31 - Sayı: 4

Factors Affecting the Item Parameter Estimation and Classification Accuracy of the Cognitive Diagnostic Models

Bilişsel Tanı Modellerinde Parametre Kestirimini ve Sınıflama

Pages
778–795
Publication Date
2022-10-19
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

By using DINA analysis model obtained from mean values of "Correct Classification Rate (CCR)", number of item, number of attribute and levels of g and s parameters of significant effect was observed

📌 3 Key Takeaways

🎯
Objective & Hypothesis:The purpose of this study is to investigate factors affecting the item parameter estimation, item fit and classification accuracy of the Cognitive Diagnostic Models (CDM).For this purpose, the data is generated by using noncompensatory model (DINA) according to various factors (sample size, correlation between attributes, the number of attributes, the number of item, s and g parameters levels).
📊
Key Findings & Data:Data simulation and analyses were conducted by using R 3.0 with CDM package.
💡
Conclusion & Impact:By using DINA analysis model obtained from mean values of "Correct Classification Rate (CCR)", number of item, number of attribute and levels of g and s parameters of significant effect was observed
🔬Design:Modeling & Simulation
📍Scope:Comprehensive Sample
⚙️Variables:Domain Parameters

Abstract

The purpose of this study is to investigate factors affecting the item parameter estimation, item fit and classification accuracy of the Cognitive Diagnostic Models (CDM).For this purpose, the data is generated by using noncompensatory model (DINA) according to various factors (sample size, correlation between attributes, the number of attributes, the number of item, s and g parameters levels). The simulated data were analyzed by using DINA models. Data simulation and analyses were conducted by using R 3.0 with CDM package. The output files were organized for parameter estimation, item fit and classification accuracy for both main and interaction effects. By using DINA analysis model obtained from mean values of "Absolute Mean Bias" (MOY) to estimate g parameter, sample size, number of items and levels of g and s parameters of significant effect were observed. s parameter estimation obtained from the mean values MOY, sample size, level of the correlation between attributes and level of the s and g parameters of a significant effect were observed. By using DINA analysis model obtained from mean values of RMSEA, sample size, number of item, number of attribute and levels of g and s parameters of significant effect was observed. By using DINA analysis model obtained from mean values of "Correct Classification Rate (CCR)", number of item, number of attribute and levels of g and s parameters of significant effect was observed

Özet

Bu çalışmanın amacı, Bilişsel Tanı Modelleri'nde madde parametre kestirimini, madde uyumunu ve sınıflama tutarlılığını etkileyen faktörlerin neler olduğunun incelenmesidir. Bu amaç doğrultusunda, tamamlayıcı olmayan model (DINA) kullanılarak çeşitli faktörlere (örneklem büyüklüğü, özelikler arası korelasyon, özelik sayısı, madde sayısı, s ve g parametre düzeyleri) göre veri üretilmiştir. Üretilen veri, DINA analiz modeline göre analiz edilmiş, R 3.0 programı ve CDM paketi kullanılmış ve her bir durum için 100 yineleme (replikasyon) yapılmıştır. Parametre kestirimi, madde uyumu ve sınıflama tutarlılığı için, elde edilen çıktı dosyaları, değişimleme ölçütlerine göre hem temel etkiler hem de ortak etkiler bazında düzenlenmiştir. g parametre kestirimi için elde edilen "Mutlak Ortalama Yanlılık (MOY)" ortalamalarına, örneklem büyüklüğünün, madde sayısının ve s ve g parametre düzeylerinin anlamlı bir etkisinin olduğu gözlenmiştir. s parametre kestiriminden elde edilen MOY ortalamalarına ise, örneklem büyüklüğünün, özelikler arası korelasyon düzeyinin ve s ve g parametre düzeylerinin anlamlı bir etkisinin olduğu gözlenmiştir. Madde uyumu için elde edilen RMSEA ortalama değerlerine, örneklem büyüklüğünün, özelik sayısının, madde sayısının ve s ve g parametre düzeylerinin anlamlı bir etkisinin olduğu gözlenmiştir. Sınıflama tutarlılığı için elde edilen "Doğru Sınıflama Oranları (DSO) sonuçları incelendiğinde ise, özelik sayısının, madde sayısının ve s ve g parametre düzeylerinin anlamlı bir etkisinin olduğu gözlenmiştir

🔖

Cite This Article

SÜNBÜL, S. Ö., KAN, A. (2022). Factors Affecting the Item Parameter Estimation and Classification Accuracy of the Cognitive Diagnostic Models. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, Cilt: 31 - Sayı: 4, 778–795. https://ajindex.com/articles/531800

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (12)

  1. Ackerman, T. (1996). Graphical representation of multidimensional item response theory analyses. Applied Psychological Measurement, 20, 311-329.
  2. Baykul, Y. (2000). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara:
  3. ÖSYM Yayınları.
  4. Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. USA: Rinehart and Winston Inc. de la Torre, J. (2008). An empirically-based method of Q-matrix validation for the DINA model: Development and applications. Journal of Educational Measurement, 45, 343-362. de la Torre, J. (2009). A cognitive diagnosis model for cognitively-based multiple-choice options. Applied Psychological Measurement, 33, 163-183. de la Torre, J., Hong, Y. & Deng, W. (2010). Factors affecting the item parameter estimation and classification accuracy of the DINA model. Applied Psychological Measurement, 47, 227-249.
  5. DiBello, L. V., Stout, W. F., & Roussos, L. A. (1995). Unified cognitive/psychometric diagnostic assessment likelihood-based classification techniques. In P.D. Nichols, S. Embretson, S. E. & Reise, S. (2000). Item response theory for psychologists. New Jersey: Lawrence Erlbaum Associates. Gelbal, S. (1994). p madde güçlük indeksi ile rasch modelinin b parametresi ve bunlara dayalı yetenek ölçüleri üzerine bir karşılaştırma. Yayınlanmamış doktora tezi, Hacettepe Üniversitesi,
  6. Ankara.
  7. Gulliksen, H. (1950). Theory of mental tests. New York: Wiley. Hambleton, R. K. & Swaminathan, H. (1985). Item response theory: principles and applications. Boston: Academic Puslishers Group. Hambleton, R. K. & Jones, R. W. (1993). Comparison of classical test theory and item response theory and their applications to test development. Educational Measurement, 12, 38-47.
  8. Haertel, E.H. (1984). An application of latent class models to assessment data. Applied Psychological Measurement 8, 333-346.
  9. Haertel, E. H. (1989). Using restricted latent class models to map the skill structure of achievement items. Journal of Educational Measurement, 26, 333-352.
  10. Haertel, E.H. (1990). Continuous and discrete latent structure models of item response data. Psychometrika 55, 477- 494. Henson, R. & Douglas, J. (2005) Test construction for cognitive diagnosis, Applied Psychological Measurement, 29(4): 262-277.
  11. Henson, R. A., Roussos, L., Douglas, J., & He, X. (2008). Cognitive diagnostic attribute level discrimination indices. Applied Psychological Measurement, 32, 275-288.
  12. Henson, R. A., Templin, J. L., & Willse, J. T. (2009). Defining