Comparison of several small sample equating methods under the NEAT design

Küçük örneklemlerde kullanılan bazı test eşitleme yöntemlerinin DOOT deseni altında karşılaştırılması

Abstract

The aim of this study is to compare the performances of Identity, Nominal Weights Mean, and Circle-Arc equating methods under the Non-Equivalent Groups Anchor-Test (NEAT) design. Synthetic equating functions (SFs) of the chosen equating methods (NWS and CAS) were also created using an equal weighting system (w = 0.5). Different sizes of small examinee samples (n = 10, 20, 50, 100) were used to equate new test forms to base test forms. Chained Equipercentile (CE) with bivariate log-linear presmoothing was used as population criterion equating function to compare the performances of the equating methods. Overall, the identity (ID) equating was the most favorable, but the NWS method produced less equating error than the ID and TL equating methods under specific simulation conditions. In the light of the findings, recommendation is given to practitioners. Limitations and directions for further research are also provided at the end of this study.

Özet

Bu çalışmanın amacı, Identity (İD), Nominal Weights Mean (NWM) ve Circle-Arc (CA) test eşitleme yöntemlerinin performanslarını denk olmayan gruplar ve ortak soru içeren test (DOOT) deseni altında karşılaştırmaktır. Bu yöntemlere ait yapay test eşitleme fonksiyonları (NWS ve CAS) eşit ağırlıklandırma sistemi (w = 0.5) kullanılarak ayrıca oluşturulmuş ve sonrasında orijinal test eşitleme yöntemleriyle (İD, NW ve CA) karşılaştırılmıştır. Yeni test formlarını, referans test formlarına eşitlemek için farklı büyüklükte küçük örneklemler (n = 10, 20, 50, 100) kullanılmıştır. Chained Equipercentile (CE) yöntemi loglinear data düzeltme tekniği ile birlikte kullanılarak, evrendeki test formları arasında fonksiyonel bir ilişki kurulmuştur. Testler arasında kurulan bu fonksiyonel ilişki, İD, NWM, CA, NWS ve CAS test eşitleme yöntemlerinin performanslarını karşılaştırmada bir ölçüt olarak kullanılmıştır. Sonuç olarak, İD eşitleme yöntemi en uygun yöntem olarak tespit edilmiştir. Ancak NWS yöntemi de bazı durumlarda İD ve TL yöntemlerinden daha az hata üretmiştir. NWS yöntemi, örneklem sayısının 25`ten az olduğu durumlarda İD’ye alternatif olarak kullanılabilecek niteliktedir. Sonraki çalışmalarda ise, var olan diğer test eşitleme yöntemlerinin yapay fonksiyonları test edilmeli ve küçük örneklemler ile kullanılabilecek en uygun yöntem(ler) tespit edilmelidir.

Keywords: küçük örneklemler, test eşitleme, yapay fonksiyonlar, DOOT deseni