Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightBulgular, ortak madde temelli desende son-tabakalama eşitlemenin zincir eşitlemeye göre daha iyi performans gösterdiğini ortaya koymuştur.
📌 3 Maddede Bu Makale
Özet
Test eşitleme, farklı test formlarından elde edilen puanların karşılaştırılabilirliğinin sağlanmasında önemli bir rol oynamaktadır. Geleneksel yaklaşımlar, gruplar arasındaki yetenek farklılıklarını veya formlar arasındaki güçlük farklılıklarını düzenlemek amacıyla ortak maddelere dayanmaktadır. Ancak ortak maddelerin kullanımına ilişkin bir takım sınırlılıklar kaynaklı ortak değişken temelli alternatif eşitleme yaklaşımları geliştirilmiştir. Bu çalışmanın temel amacı, gerçek değerlendirme verileri kullanarak ortak madde temelli ve ortak değişken temelli yaklaşımların eşitleme performanslarını karşılaştırmaktır. Çalışmada Uluslararası Öğrenci Değerlendirme Programı (PISA) verileri kullanılmış ve okuma becerilerini güçlü biçimde yordayan beş ortak değişken seçilmiştir. Ortak madde temelli desende son-tabakalama ve zincir eşitleme yöntemleri uygulanırken, ortak değişken temelli desende sürekli değişkenlerin kategorik hâle getirilmesine dayalı ham puan yaklaşımı, sözde eşdeğer gruplar ve eğilim puanı yaklaşımları kullanılmıştır. Tüm analizler Klasik Test Kuramı çerçevesinde gözlenen puanlara dayalı Kernel eşitleme yöntemi ile gerçekleştirilmiştir. Eşitleme performansı, eşitlemenin standart hatası (SEE) kullanılarak değerlendirilmiştir. Bulgular, ortak madde temelli desende son-tabakalama eşitlemenin zincir eşitlemeye göre daha iyi performans gösterdiğini ortaya koymuştur. Desenler karşılaştırıldığında, ortak değişken temelli yaklaşımların genel olarak ortak madde temelli desendeki zincir eşitlemeye göre daha düşük eşitleme hataları ürettiği görülmüştür. Yalnızca eğilim puanı yaklaşımı, son-tabakalama eşitlemeye kıyasla daha yüksek hata değerleri üretmiştir. Ham ortak değişken puanlarına dayalı yaklaşım ise diğer tüm yöntemlere kıyasla açık biçimde üstün performans göstermiştir. Bu bulgular, ortak maddelere ek olarak arka plan değişkenlerinin de test eşitleme çalışmalarında uygulanabilir bir alternatif oluşturabileceğini göstermektedir.
Abstract
Test equating plays an important role in ensuring the comparability of scores obtained from different test forms. Traditional approaches rely on common items to adjust for differences in ability between groups or variations in difficulty across forms. However, due to functional, security-related and test design constraints associated with the use of common items alternative covariate-based equating approaches have been developed. The primary aim of this study is to compare the equating performance of anchor-based and covariate-based approaches using real assessment data. Data from the Programme for International Student Assessment were used and five background variables with strong predictive power for reading literacy were selected. Within the anchor-based design, post-stratification and chained equating methods were applied, whereas the covariate-based design employed approaches based on categorized continuous covariates, pseudo-equivalent groups and propensity scores. All analyses were conducted within the framework of Classical Test Theory using observed-score kernel equating. Equating performance was evaluated using the standard error of equating. Results indicated that under the anchor-based design post-stratification equating outperformed chained equating. When designs were compared, covariate-based approaches generally produced lower equating errors than chained equating under the anchor-based design. Only the propensity score approach yielded higher errors than post-stratification equating. The approach using raw covariate scores demonstrated clearly superior performance compared to all other methods. These findings suggest that in addition to common items, background variables can serve as a viable alternative in test equating studies.