AI Summary & Key Takeaways
AI InsightAlso it was observed that the change in the sample size and test length didn’t affect the measurement precision significantly in the left-skewed distribution.
📌 3 Key Takeaways
Abstract
This is a post-hoc simulation study which investigates the effect of different item difficulty distributions, sample sizes, and test lengths on measurement precision while estimating the examinee parameters in right and left-skewed distributions. First of all, the examinee parameters were obtained from 20-item real test results for the right-skewed and left-skewed sample groups of 500, 1000, 2500, 5000, and 10000. In the second phase of the study, four different tests were formed according to the b parameter values: normal, uniform, left skewed and right skewed distributions. A total of 80 conditions were formed within the scope of this research by selecting 20-item and 30-item condition as the test length variable. In determining the measurement precision, the RMSE and AAD values were calculated. The results were evaluated in terms of the item difficulty distributions, sample sizes, and test lengths. As a result, in right-skewed examinee distribution, the highest measurement precision was obtained at the normal b distribution and the lowest measurement precision was obtained at the right skewed b distribution. A higher measurement precision was obtained in the 30-item test, however, it was observed that the change in the sample size didn’t affect the measurement precision significantly in right-skewed examinee distribution. In the left skewed distribution, the highest measurement precision was obtained at the normal b distribution and the lowest measurement precision was obtained at the left-skewed b distribution. Also it was observed that the change in the sample size and test length didn’t affect the measurement precision significantly in the left-skewed distribution.
Özet
Bu çalışma sağa ve sola çarpık yetenek dağılımlarında farklı madde güçlük dağılımı, örneklem büyüklüğü ve test uzunluklarının yetenek parametresi kestiriminde ölçme kesinliğine etkisinin incelendiği bir post-hoc simülasyon çalışmasıdır. Araştırma kapsamında ilk olarak, yetenek parametreleri 500, 1000, 2500, 5000 ve 10000 kişilik sağa ve sola çarpık örneklem grupları için 20 maddelik gerçek test sonuçlarından elde edilmiştir. Araştırmanın ikinci aşamasında b parametre değerlerine göre normal dağılım, tekdüze dağılım, sola çarpık ve sağa çarpık dağılım olmak üzere dört farklı test oluşturulmuştur. Test uzunluğu değişkeni olarak 20 madde ve 30 madde seçilerek araştırma kapsamında toplam 80 koşul incelenmiştir. Veri üretimi WinGen 3 programı ile yapılırken parametre kestirimleri MULTILOG 7.03 programıyla yapılmıştır. Kestirim yöntemi olarak ise en çok olabilirlik yöntemi kullanılmıştır. Ölçme kesinliğini belirlemede ise RMSE ve AAD değerleri hesaplanmıştır ve bu değerler kritere dayalı olarak ve kıyaslanarak yorumlanmıştır. Sonuçlar, madde güçlük dağılımı, örneklem büyüklüğü ve test uzunluğu kapsamında değerlendirilmiştir. Sağa çarpık yetenek dağılımında en yüksek ölçme kesinliği normal b dağılımında, en düşük ölçme kesinliği ise sağa çarpık b dağılımında elde edilmiştir. 30 maddelik testte ölçme kesinliği daha yüksek elde edilirken, örneklem büyüklüğünün değişiminin ölçme kesinliğine önemli bir etkisi olmadığı gözlemlenmiştir. Sola çarpık yetenek dağılımında ise en yüksek ölçme kesinliği normal b dağılımında en düşük ölçme kesinliği ise sola çarpık b dağılımında elde edilmiştir. Ayrıca sola çarpık yetenek dağılımında örneklem büyüklüğü ve test uzunluğunun önemli bir etkisi olmamıştır.