Distractor Analysis Based on Item Difficulty Index and Item Discrimination Index

Madde Güçlük İndeksi ve Madde Ayırt Edicilik İndeksine Dayalı Çeldirici Analizi

Abstract

One of the most important factors that should be examined when determining the performance of a multiple-choice item in the measuring instrument is the effectiveness of distractors. The performance of the items formed with effective distractors is higher. At this point, the process of preparation of distractors also plays an effective role. It is important to note that a strong and effective distractor does not carry any information about the correct answer. Investigating the reason why respondents chose distractors in a measuring instrument consisting of quality items is an important part of the item analysis process. When calculating item statistics during the known item analysis process, wrong answer options, i.e. distractors, are not included in the calculation. In distractor analysis, the power of these false answer options, which are not included in item analysis, is investigated and comments are made on the quality of these options. Thus, it is possible to have an idea of how the item of interest works in the measuring instrument. In this study, Statistical Literacy Test was applied to the students of the Department of Econometrics, Faculty of Economics and Administrative Sciences, Karadeniz Technical University, and distractor analysis was conducted for the items covered by the test. The analyzes were performed with the help of R software. Based on the results obtained, comments were made about whether the distractors in the items were effective and strong.

Özet

Çoktan seçmeli bir maddenin ölçme aracı içerisindeki performansı belirlenirken incelenmesi gereken en önemli unsurlardan biri de çeldiricilerin etkinliğidir. Etkin çeldiricilerle oluşturulmuş maddelerin performansları daha yüksek olmaktadır. Bu noktada çeldiricilerin hazırlanma süreci de etkili bir rol oynamaktadır. Güçlü ve etkin bir çeldiricinin doğru cevapla ilgili herhangi bir bilgi taşımaması dikkat edilmesi gereken en önemli hususlardandır. Kaliteli maddelerden oluşan bir ölçme aracında cevaplayıcıların çeldiricileri neden seçtiğini araştırmak madde analiz sürecinin önemli bir kısmını oluşturmaktadır. Bilinen madde analizi sürecinde madde istatistikleri hesaplanırken yanlış cevap seçenekleri yani çeldiriciler hesaplamaya dahil edilmemektedir. Çeldirici analizinde ise madde analizinde hesaba dahil edilmeyen bu yanlış seçeneklerinin gücü araştırılıp bu seçeneklerin kalitesi ile ilgili yorumlar yapılmaktadır. Böylelikle ilgilenilen maddenin ölçme aracı içinde nasıl çalıştığı ile ilgili fikir sahibi olmak mümkündür. Bu çalışmada Karadeniz Teknik Üniversitesi İktisadi ve İdari Bilimler Fakültesi Ekonometri Bölümü öğrencilerine İstatistik Okuryazarlık Testi uygulanmış ve test kapsamındaki maddeler için çeldirici analizi yapılmıştır. Analizler R yazılımı yardımıyla yapılmıştır. Elde edilen sonuçlardan hareketle maddelerdeki çeldiricilerin etkin ve güçlü çeldiriciler olup olmadıkları ile ilgili yorumlar yapılmıştır.