Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi

The Effect of the Methods Used in Case of Faulty Items in the Tests on Scoring and Ranking

Özet

Bu araştırma kapsamında testlerde hatalı soru olması durumunda soru için kullanılan yöntemlerin bireylerin puanlamalarına ve sıralamalarına olan etkisinin incelenmesi amaçlanmıştır. Bu doğrultuda 2016 TEOG uygulamasına katılan 64.788 öğrencinin Türkçe alt testinde yer alan 20 soruya verdikleri cevaplar üzerinde incelemeler gerçekleştirilmiştir. Araştırma kapsamında öncelikle farklı özelliklere sahip (en düşük ayırıcılığa sahip, en çok boş bırakılan, en zor) soru iptal edilmiştir. Ardından da iptal edilen sorulara yönelik dört farklı puanlama yöntemine (herkese doğru kabul etme, diğer sorular üzerinden hesaplama yapma, en az bir doğrusu olan herkese doğru kabul etme, alt testi bazında ağırlıklandırma) dayalı olarak öğrencilere ilişkin dört farklı puan türü (toplam puan, net puanı ve sıralamalar) hesaplanmıştır. Aynı zamanda her bir puan türüne göre öğrenciler sıralanmıştır. Hesaplama sonuçlarında soru iptali durumunda herkese doğru kabul etme ve en az bir doğrusu olan herkese doğru kabul etme yöntemlerinin hem ortalama hem de sıralamada gerçek ortalama ve sıralamadan en uzak değerleri ürettiği belirlenmiştir. Diğer sorular üzerinden hesaplama yapma ve alt testi bazında ağırlıklandırma yöntemlerinin ortalamalar bakımından benzer olduğu, öğrenci sıralamasının değişmesine en dirençli olan yöntemin de alt testi bazında ağırlıklandırma yöntemi olduğu tespit edilmiştir.

Abstract

Within the scope of this study, it was aimed to examine the effects of the methods used for the question on the scores and rankings of individuals in case of incorrect questions in the tests. Accordingly, 64,788 students who participated in the 2016 TEOG application were examined on the answers they gave to 20 questions in the Turkish subtest. Within the scope of the research, first of all, A question was canceled with different characteristics (lowest separation, most left blank, most difficult question). Then, four different types of scores (total score, net score) for the canceled questions based on four different scoring methods (accepting everyone right, calculating based on other questions, accepting at least one correct one, weighting on the basis of the subtest) score and rankings have been calculated. At the same time, students are ranked according to each score type. In the calculation results, it was determined that in case of a cancellation of the question, the methods of accepting everyone as true and accepting everyone with at least one correct one were actually producing the furthest values in both average and ranking. It has been determined that calculating on other questions and weighting methods on subtest basis are similar in terms of averages, and the method that is most resistant to change in student ranking is the weighting method on the basis of subtest.