AI Summary & Key Takeaways
AI InsightFurthermore, it can be observed from the results that the test developers using the cognitive diagnosis models should specifically consider the item–attribute relation in items with missing data.
📌 3 Key Takeaways
Abstract
The objective of this study is to investigate the relation between the number of items and attributes and to analyze the manner in which the different rates of missing data affect the model estimations based on the simulation data. A Q-matrix contains 24 items, and data are generated using four attributes. A dataset of n = 3000 is generated by associating the first, middle, and final eight items in the Q-matrix with one, two, and three attributes, respectively, and 5%, 10%, and 15% of the data have been randomly deleted from the first, middle, and final eight-item blocks in the Q-matrix, respectively. Subsequently, imputation was performed using the multiple imputation (MI) method with these datasets, 100 replication was performed for each condition. The values obtained from these datasets were compared with the values obtained from the full dataset. Thus, it can be observed that an increase in the amount of missing data negatively affects the consistency of the DINA parameters and the latent class estimations. Further, the latent class consistency becomes less affected by the missing data as the number of attributes associated with the items increase. With an increase in the number of attributes associated with the items, the missing data in these items affect the consistency level of the g parameter (guessing) less and the s parameter (slip) more. Furthermore, it can be observed from the results that the test developers using the cognitive diagnosis models should specifically consider the item–attribute relation in items with missing data.
Özet
Bu araştırmanın amacı, farklı oranlarda kayıp veri varlığında madde-özellik sayısı ilişkisinin, DINA model kestirimlerini nasıl etkilediğini incelediğini simülasyon verileri üzerinden incelemektir. Verilerin üretimlesinde dört özellik ve 24 maddeden oluşan bir Q matris kullanılmıştır. Q matrixteki ilk, orta ve son 8 madde sırasıyla 1, 2 ve 3 özellikle ilişkilendirilerek 3000 kişilik bir veri seti üretilmiş ve bu verilerde yer alan her 8 maddelik bloktan sırası ile %5, %10 ve %15 veri rassal silinmiştir. Ardından, bu veri setlerine MI yöntemi ile imputasyon yapılmıştır. Bu işlemler, her bir koşul için 100 kez tekrarlanmıştır. Bu veri setlerinden elde edilen kestirimler, kayıpsız veri setinden elde edilen değerler ile karşılaştırılmıştır. Araştırmanın bulguları kayıp veri miktarındaki artışın, DINA model parametre ve örtük sınıf kestirimlerindeki tutarlılığı olumsuz yönde etkilediğini göstermiştir. Maddenin ilişkili olduğu özellik sayısı arttıkça örtük sınıf uyumu kayıp veriden daha az etkilenmiştir. Maddenin ilişkili olduğu attribute sayısı arttıkça bu maddelerde gözlenen kayıp veri, testin g parametresi uyum düzeyini daha az, s parametresini daha çok etkilemiştir. Araştırmanın sonuçları özellikle CDM modellerini kullanan test geliştiricilerinin kayıp veri gözlenen maddelerde, madde-özellik ilişkisini göz önünde bulundurmaları gerektiğini göstermektedir.