AI Summary & Key Takeaways
AI InsightThe preference of Expected a Posteriori method for the ability estimation is observed to cause a drop in values for RMSE and bias values.
📌 3 Key Takeaways
Abstract
In adaptive testing, there exists a test algorithm different than the classical tests. The test algorithm consists of three parts which are starting, resuming and termination. The aim of this study is to measure the effect of different termination rules on measurement precision and test length in computer adaptive testing. The research was implemented as a simulation study. Five different termination rules have been used for the study which are: fixed length, standard error, standard error-least item, theta convergence and theta convergence-least item. Different conditions are in place in each termination rule and a total of 12 conditions are compared. Additionally, in comparing termination rules, different item pools (250 and 500) and ability estimation methods (Maksimum Likelihood Estimation and Expected a Posteriori) have been selected since these are critical in the algorithms of Computer Adaptive Testing. RMSE, bias and fidelity values were calculated for the measurement precision and test lengths were obtained and compared for each of the CAT implementation. As a result, for the 20 item fixed length, 0,220 standard error and 0,02 theta convergence termination conditions RMSE and bias values are small but fidelity factors are not significantly affected. And with the addition of the least item factor, better results were achieved in some of the termination conditions in terms of measurement precision. The test length is observed to be negatively correlated with the RMSE values. In the same termination conditions, with the increases in item pool generally smaller RMSE and bias values were for measurement precision were achieved. Not a significant change was observed in the evaluation of the effect of the starting rules. The preference of Expected a Posteriori method for the ability estimation is observed to cause a drop in values for RMSE and bias values.
Özet
Bireyselleştirilmiş testlerde, geleneksel testlerden farklı olarak test algoritması söz konusudur. Test algoritması; teste başlama, devam etme ve testi sonlandırma olmak üzere üç bölümden oluşmaktadır. Bu çalışmanın amacı, bireyselleştirilmiş bilgisayarlı test (BBT) uygulamalarında farklı sonlandırma kurallarının kullanılmasının ölçme kesinliğine ve test uzunluğuna etkisini incelemek ve birbirleri ile karşılaştırmaktır. Araştırma simülasyon çalışması olarak yürütülmüştür. Araştırma kapsamında sabit uzunluk, standart hata, standart hata-en az madde, theta yakınsama ve theta yakınsama-en az madde olmak üzere beş farklı sonlandırma kuralı kullanılmıştır. Her bir sonlandırma kuralında farklı koşullar söz konusu olup toplam 12 koşul birbiriyle karşılaştırılmıştır. Ayrıca sonlandırma kurallarının karşılaştırılmasında BBTde test algoritmasında önemli yere sahip olan farklı madde havuzu büyüklükleri (250 ve 500 madde) ve yetenek kestirim yöntemleri (Maksimum Olabilirlik Kestirimi ve Beklenen Sonsal Dağılım) seçilmiştir. Her bir BBT uygulamasında ölçme kesinliği için RMSE, yanlılık ve uyum değerleri hesaplanmış ve test uzunlukları elde edilip, birbirleriyle karşılaştırılmıştır. Araştırmanın sonucunda, genel olarak 20 madde sabit uzunluk, 0,220 standart hata ve 0,02 theta yakınsama sonlandırma koşullarında RMSE, yanlılık değerlerinin düşük elde edildiği ancak uyum katsayılarının önemli oranda etkilenmediği belirlenmiştir. Ayrıca en az madde koşulunun eklenmesi ile bazı sonlandırma koşulları ölçme kesinliği açısından daha iyi sonuçlar vermiştir. Ortalama test uzunluk değerlerinin RMSE değerleri ile ters yönde değiştiği bulunmuştur. Aynı sonlandırma koşullarında madde havuzu büyüklüğünün artması ile ölçme kesinliği için elde edilen RMSE ve yanlılık değerlerinin genel olarak daha düşük elde edilmiştir. Yetenek kestirim yöntemi olarak Beklenen Sonsal Dağılım yönteminin kullanılmasının RMSE ve yanlılık değerlerinde düşmeye neden olduğu belirlenmiştir.