Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightBulgular, CCTSPRT ve CASTSPRT algoritmalarının en yüksek doğruluk-verimlilik dengesini sunduğunu göstermiştir.
📌 3 Maddede Bu Makale
Özet
Bu çalışmada, bilgisayarlı uyarlanabilir ve sınıflama temelli test algoritmalarının doğruluk, karar hataları ve test verimliliği açısından performansları karşılaştırılmıştır. Bilgisayarlı Uyarlanabilir Test (CAT), Bilgisayarlı Sınıflama Testi (CCT), Bilgisayarlı Uyarlanabilir Ardışık Test (CAST) ve Çok Aşamalı Test (MST) ailelerine ait on algoritma/varyant 100 replikasyonlu Monte Carlo simülasyonu ile incelenmiştir. Ayrıca klasik MST’nin sabit modül uzunluğu sınırlılığını azaltmak amacıyla Bayesçi ve Ardışık Olasılık Oran Testi (SPRT) tabanlı iki değişken maddeli MST varyantı geliştirilmiştir. Her replikasyonda 1000 öğrenci ve 200 maddelik madde havuzu üretilmiş; algoritmalar sınıflama doğruluğu, dengeli doğruluk, duyarlılık, özgüllük, yanlış pozitif/negatif kararlar, F1 değeri, ortalama madde sayısı ve işlem süresi bakımından değerlendirilmiştir. Bulgular, CCTSPRT ve CASTSPRT algoritmalarının en yüksek doğruluk-verimlilik dengesini sunduğunu göstermiştir. Bayes tabanlı algoritmalar daha yüksek duyarlılık üretirken özgüllük bakımından daha sınırlı kalmıştır. MSTSPRT ise klasik MST’ye yakın doğrulukla daha kısa test uzunluğu sağlamıştır. Sonuçlar, algoritma seçiminin ölçme amacı, hata maliyeti ve e-değerlendirme bağlamındaki gereksinimler birlikte dikkate alınarak yapılması gerektiğini göstermektedir.
Abstract
This study compared the performance of computerized adaptive and classification based testing algorithms in terms of classification accuracy, decision errors, and testing efficiency. Ten algorithms/variants from the Computerized Adaptive Testing (CAT), Computerized Classification Testing (CCT), Computerized Adaptive Sequential Testing (CAST), and Multistage Testing (MST) families were examined through a Monte Carlo simulation with 100 replications. In addition, two variable-length MST variants based on Bayesian and Sequential Probability Ratio Test (SPRT) decision rules were developed to address the fixed module-length limitation of conventional MST. For each replication, a sample of 1000 examinees and an item pool of 200 items were generated. Algorithms were evaluated using classification accuracy, balanced accuracy, sensitivity, specificity, false-positive and false-negative classifications, F1 score, average test length, and computational time. The results indicated that the CCTSPRT and CASTSPRT algorithms provided the most favorable balance between classification accuracy and testing efficiency. Bayesian algorithms yielded higher sensitivity but lower specificity. The MSTSPRT variant achieved classification accuracy comparable to that of conventional MST while requiring fewer administered items. Overall, the findings suggest that algorithm selection should be guided by the intended measurement purpose, the relative costs of classification errors, and the practical requirements of e-assessment environments.