Journals / Gümüşhane Üniversitesi Fen Bilimleri Dergisi / 2020 / Cilt: 10 - Sayı: 1

Distractor Analysis Based on Item Difficulty Index and Item Discrimination Index

Madde Güçlük İndeksi ve Madde Ayırt Edicilik İndeksine Dayalı Çeldirici Analizi

Pages
224–240
Publication Date
2022-10-18
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

Based on the results obtained, comments were made about whether the distractors in the items were effective and strong.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:One of the most important factors that should be examined when determining the performance of a multiple-choice item in the measuring instrument is the effectiveness of distractors.
📊
Key Findings & Data:The performance of the items formed with effective distractors is higher.
💡
Conclusion & Impact:Based on the results obtained, comments were made about whether the distractors in the items were effective and strong.
🔬Design:Research Article
📍Scope:Comprehensive Sample
⚙️Variables:Çeldirici · Madde · Madde İstatistikleri

Abstract

One of the most important factors that should be examined when determining the performance of a multiple-choice item in the measuring instrument is the effectiveness of distractors. The performance of the items formed with effective distractors is higher. At this point, the process of preparation of distractors also plays an effective role. It is important to note that a strong and effective distractor does not carry any information about the correct answer. Investigating the reason why respondents chose distractors in a measuring instrument consisting of quality items is an important part of the item analysis process. When calculating item statistics during the known item analysis process, wrong answer options, i.e. distractors, are not included in the calculation. In distractor analysis, the power of these false answer options, which are not included in item analysis, is investigated and comments are made on the quality of these options. Thus, it is possible to have an idea of how the item of interest works in the measuring instrument. In this study, Statistical Literacy Test was applied to the students of the Department of Econometrics, Faculty of Economics and Administrative Sciences, Karadeniz Technical University, and distractor analysis was conducted for the items covered by the test. The analyzes were performed with the help of R software. Based on the results obtained, comments were made about whether the distractors in the items were effective and strong.

Özet

Çoktan seçmeli bir maddenin ölçme aracı içerisindeki performansı belirlenirken incelenmesi gereken en önemli unsurlardan biri de çeldiricilerin etkinliğidir. Etkin çeldiricilerle oluşturulmuş maddelerin performansları daha yüksek olmaktadır. Bu noktada çeldiricilerin hazırlanma süreci de etkili bir rol oynamaktadır. Güçlü ve etkin bir çeldiricinin doğru cevapla ilgili herhangi bir bilgi taşımaması dikkat edilmesi gereken en önemli hususlardandır. Kaliteli maddelerden oluşan bir ölçme aracında cevaplayıcıların çeldiricileri neden seçtiğini araştırmak madde analiz sürecinin önemli bir kısmını oluşturmaktadır. Bilinen madde analizi sürecinde madde istatistikleri hesaplanırken yanlış cevap seçenekleri yani çeldiriciler hesaplamaya dahil edilmemektedir. Çeldirici analizinde ise madde analizinde hesaba dahil edilmeyen bu yanlış seçeneklerinin gücü araştırılıp bu seçeneklerin kalitesi ile ilgili yorumlar yapılmaktadır. Böylelikle ilgilenilen maddenin ölçme aracı içinde nasıl çalıştığı ile ilgili fikir sahibi olmak mümkündür. Bu çalışmada Karadeniz Teknik Üniversitesi İktisadi ve İdari Bilimler Fakültesi Ekonometri Bölümü öğrencilerine İstatistik Okuryazarlık Testi uygulanmış ve test kapsamındaki maddeler için çeldirici analizi yapılmıştır. Analizler R yazılımı yardımıyla yapılmıştır. Elde edilen sonuçlardan hareketle maddelerdeki çeldiricilerin etkin ve güçlü çeldiriciler olup olmadıkları ile ilgili yorumlar yapılmıştır.

🔖

Cite This Article

TERZİ, Y., HASANÇEBİ, B., KÜÇÜK, Z. (2022). Distractor Analysis Based on Item Difficulty Index and Item Discrimination Index. Gümüşhane Üniversitesi Fen Bilimleri Dergisi, Cilt: 10 - Sayı: 1, 224–240. https://ajindex.com/articles/526947

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (13)

  1. Alagumalai, S. and Keeves, J.P.,1999. Distractors—Can They Be Biased too? Journal of Outcome Measurement, 3(1), 89-102.
  2. Allen, D. D., 2012. Validity and Reliability of the Movement Ability Measue: A Self-Report Instrument Proposed for Assessing Movement Across Diagnoses and Ability Levels. Physical Thearapy, 87(7), 899-916.
  3. Attali, Y. and Fraenkel, T., 2000. The Point-Biserial As A Discrimination Index for Distractors in Multiple-Choice Items: Deficiencies in Usage and An Alternative. Journal of Educational Measurement, 37(1), 77–86.
  4. Baykul, Y., 2000. Eğitimde ve Psikolojide Ölçme: Klasik Test Teorisi ve Uygulaması. ÖSYM Yayınları, Ankara, 504s. De Grutijter, D. N. and Van der Kamp, L. J., 2008. Statistical Test Theory for the Behavioral Sciences. Chapman&Hall, London, 280p. DeVellis, R. F., 2006. Quantitative and Issues and Approaches: Classical Test Theory (CTT) and Item Response Theory (IRT). Medical Care, 44(11), 50-59.
  5. Flanagan, J. C., 1952. The effectiveness of short methods for calculating correlation coefficients. Psychological Bulletin, 49(4), 342-348.
  6. Gajjar, S., Sharma, R., Kumar, P. and Rana, M., 2014. Item and Test Analysis to Identify Quality Multiple Choice (MCQs) from An Assessment of Medical Students of Ahmedabad, Gujarat. Indian Journal of Community Medicine, 39(1), 17-20.
  7. Gierl, N.J., Bulut, O., Guo, Q. and Zhang, X., 2017.
  8. Developoing, Analyzing and Using Distractors for Multiple-Choice Tests in Education: A Comprehensive Review. Review of Educational Research, 87(6), 1082-1116.
  9. Güler, N., 2008. Klasik Test Kuramı Genellenebilirlik Kuramı ve Rasch Modeli Üzerine Bir Araştırma. Doktora Tezi, Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara, 135s. Haladyna, T. M., 2016. Item Analysis for Selected-Response Test Items. Handbook of Test Development. Lane, S., Raymond, M. and Haladyna, T. (Eds.), NY: Routledge, New York. pp.392-409.
  10. Haladyna, T. M. and Downing, S. M., 1993. How Many Options is Enough for A Multiple-Choice Item? Educational and Psychological Measurement, 53(4), 999–1010.
  11. Hambleton, R. and Jirka, S., 2006. Anchor-Based Methods for Judgmentally Estimating Item Statistics. Handbook of Test Development. Downing, S. and Haladyna, T. (Eds.), NJ: Erlbaum, Mahwah. pp. 399–420.
  12. Hingorjo, M.R. and Jaleel, F., 2012. Analysis of One-Best MCQs: The Difficulty, Discrimination Index and Discrimination Efficiency, Journal of Pakistan Medical Association, 62(2), 142-147.
  13. Kelly, F.J., 1914. Teacher’s Marks: Their Variability and Standar