Journals / Turkish Journal of Education / 2017 / Cilt: 6 - Sayı: 4
Three, four, and none of the above options in multiple-choice items
- Journal
- Turkish Journal of Education
- Pages
- 143–157
- DOI
- —
Abstract
High-quality multiple-choice (MC) items are essential for creating efficient, valid assessments. Haladyna, Downing, and Rodriguez (2002) suggested that using plausible distractors is crucial to achieving this goal, although distractor creation can be time-consuming and challenging. Haladyna et al. (2002) provided two related test development guidelines: #18, “Write as many plausible distractors as you can,” and #25, “Use carefully None of the above.” This research aims to test the impact of these two guidelines on item difficulty (p), item discrimination (r), and test reliability for mathematics items empirically. The research findings have revealed that item discrimination and test reliability were not statistically different across MC items with four options, three options, and NOTA options while the means of item difficulty of four-option MC items was not statistically different from those of three-option and NOTA-option MC items. However, the mean of item difficulty of NOTA-option MC items was statistically lower than those of three-option.
Özet
Etkili ve geçerli değerlendirmeler yapabilmek için yüksek kaliteli çoktan seçmeli sorular (maddeler) oluşturmak gereklidir. Bu amaç doğrultusunda Haladyna, Downing, and Rodriguez (2002) çoktan seçmeli madde oluşturma sürecinde uygun çeldiricilerin kullanılmasının önemli olduğunu vurgulamaktadırlar. Ancak bu çeldirilerin oluşturulması zaman alıcı ve zahmetli bir süreçtir. Bu bağlamda Haladyna ve diğerleri (2002) test geliştirme ile ilişkili olan "Olabildiği kadar uygun ve mantıklı çeldiricileri yazınız" ve "Hiçbiri seçeneğini dikkatli kullanınız" ilkelerini rapor etmektedirler. Bu araştırmanın amacı bu iki ilke kullanımının matematik sorularınn zorluk derecesine, ayırt edicilik derecesine ve test güvenirliğine etkisini test etmektir. Araştırma sonucunda, madde ayırt edicilik derecesi ve test güvenirliği dört seçenekli, üç seçenekli, ve “hiçbiri” seçeneğine sahip maddeler arasında istatistiksel olarak anlamlı bir farklılık göstermediği bulunmuştur. Benzer şekilde, dört seçenekli maddelerin madde zorluk dereceleri, üç seçenekli ve “hiçbiri” seçeneğine sahip maddelerin madde zorluk derecelerinden istatistiksel olarak anlamlı bir farklılık göstermediği bulunurken, “hiçbiri” seçeneğine sahip maddelerin madde zorluk dereceleri üç seçenekli maddelerin madde zorluk derecelerinden istatistiksel olarak düşük olduğu elde edilmiştir.