SavedAdd your journal

Journals / e-Uluslararası Eğitim Araştırmaları Dergisi / 2026 / Cilt: 14 Sayı: 1

The Effect of Incorrect Questions in Multiple Choice Mathematics Exams on the Psychometric Properties of the Test / Çoktan Seçmeli Matematik Sınavlarındaki Hatalı Soruların Testin Psikometrik Özelliklerine Etkisi

Çoktan Seçmeli Matematik Sınavlarındaki Hatalı Soruların Testin Psikometrik Özelliklerine Etkisi / The Effect of Incorrect Questions in Multiple Choice Mathematics Exams on the Psychometric Properties of the Test

Kevser Ağah(Milli Eğitim Bakalığı)0000-0003-0017-496X
Azmi Turkan(SIIRT UNIVERSITY)0000-0003-2546-5122
Pages
139–153
Publication Date
2023-02-28
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

However, the participants stated that the incorrect questions among the questions made them think more and look at all the questions from different aspects with a questioning attitude.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:The aim of this study is to determine and evaluate the effect of incorrect questions in multiple choice mathematics exams on the psychometric properties of the test in line with the opinions of the participants.
📊
Key Findings & Data:In the quantitative dimension of research, an achievement test was applied to 100 eighth grade secondary school students attending three different public schools in the Southeastern Anatolia Region.
💡
Conclusion & Impact:However, the participants stated that the incorrect questions among the questions made them think more and look at all the questions from different aspects with a questioning attitude.
🔬Design:Araştırma Makalesi
📍Scope:Comprehensive Sample
⚙️Variables:Çoktan seçmeli test · Matematik · Üst düzey bilişsel özellikler

Abstract

The aim of this study is to determine and evaluate the effect of incorrect questions in multiple choice mathematics exams on the psychometric properties of the test in line with the opinions of the participants. In this study, convergent parallel mixed design was preferred since qualitative research data and quantitative data were collected together. In the quantitative dimension of research, an achievement test was applied to 100 eighth grade secondary school students attending three different public schools in the Southeastern Anatolia Region. The qualitative study part was conducted with 10 students with different success levels. Stratified sampling was used to collect quantitative data, and criterion sampling method was used to collect qualitative data. In the quantitative part of the study, the multiple choice mathematics achievement test prepared by the researchers was used. The achievement test consisted of a total of 30 questions, 10 at the easy level, 10 at the medium level, and 10 at the hard level, which were obtained in line with the opinions of experts working in the relevant field. After the achievement test application was completed, a semi-structured interview form developed by researchers was applied to participants. This form was used to determine the feelings and thoughts of the participants regarding the questions applied. Test Analysis Program (TAP) was used for the analysis of quantitative data. Content analysis was performed by creating codes, categories and themes for qualitative data analysis. When the findings were examined, it was seen that the presence of erroneous questions in multiple-choice tests positively affects item discrimination. Another finding obtained in the study is that the difficulty levels regarding the incorrect items were low. However, the participants stated that the incorrect questions among the questions made them think more and look at all the questions from different aspects with a questioning attitude.

Özet

Bu araştırmanın amacı çoktan seçmeli matematik sınavlarındaki hatalı soruların o testin psikometrik özelliklerine etkisini belirleyip katılımcıların görüşleri doğrultusunda değerlendirmektir. Bu araştırma kapsamında nitel araştırma verileri ile nicel veriler birlikte toplandığından yakınsayan paralel karma desen tercih edilmiştir. Yapılan araştırmanın nicel boyutunda Güneydoğu Anadolu Bölgesinde üç farklı devlet okuluna devam eden 100 sekizinci sınıf öğrencisine başarı testi uygulanmıştır. Araştırmanın nitel kısmı ise akademik başarı düzeyi farklı 10 öğrenciyle yürütülmüştür. Nicel verilerin toplanmasında tabakalı örnekleme, nitel verilerin toplanması için ise ölçüt örnekleme yöntemi kullanılmıştır. Yapılan araştırmanın nicel kısmında, araştırmacılar tarafından hazırlanan çoktan seçmeli matematik başarı testi kullanılmıştır. Başarı testi ilgili alanda çalışan uzman görüşleri doğrultusunda elde edilen kolay düzeyde 10, orta düzeyde 10 ve zor düzeyde 10 soru olmak üzere toplam 30 sorudan oluşmuştur. Araştırmanın nitel kısmında, başarı testi uygulandığı sırada araştırmacılar tarafından gözlemlenen katılımcıların tepki ve davranışlarının yazıldığı gözlem formu kullanılmıştır. Başarı testi uygulaması bittikten sonra araştırmacılar tarafından geliştirilen yarı yapılandırılmış görüşme formu katılımcıların uygulanan sorulara yönelik duygu ve düşüncelerini belirlemek için uygulanmıştır. Nicel verilerin analizi için Test Analiz Programı (TAP) kullanılmıştır. Nitel veri analizi için kod, kategori ve temalar oluşturularak içerik analizi yapılmıştır. Elde edilen bulgular incelendiğinde çoktan seçmeli testlerde hatalı soruların bulunmasının madde ayırt ediciliğini olumlu yönde etkilediği görülmüştür. Araştırmada elde edilen bir diğer bulgu ise hatalı olan maddelere ilişkin güçlük düzeylerinin düşük çıkmasıdır. Bununla birlikte katılımcılar, sorular arasında hatalı soruların olmasının kendilerini daha fazla düşünmeye, bütün sorulara sorgulayıcı tavırla ve farklı yönleriyle bakmaya ittiğini belirtmişlerdir.

🔖

Cite This Article

Ağah, K., Turkan, A. (2023). The Effect of Incorrect Questions in Multiple Choice Mathematics Exams on the Psychometric Properties of the Test / Çoktan Seçmeli Matematik Sınavlarındaki Hatalı Soruların Testin Psikometrik Özelliklerine Etkisi. e-Uluslararası Eğitim Araştırmaları Dergisi, Cilt: 14 Sayı: 1, 139–153. https://doi.org/10.19160/e-ijer.1182923

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (77)

  1. Adıgüzel, O. C., & Özdoğru, F. (2013). Üniversitelerde ortak zorunlu yabancı dil I dersine yönelik bir akademik başarı testinin geliştirilmesi. Trakya Üniversitesi Eğitim Fakültesi Dergisi, 3(2).
  2. Allen, D. D., (2012). Validity and Reliability of the Movement Ability Measue: A Self-Report Instrument Proposed for Assessing Movement Across Diagnoses and Ability Levels. Physical Thearapy, 87(7), 899-916.
  3. Atabek Yiğit, E. & Balkan Kıyıcı, F. (2018). Bilişsel stiller ve alternatif ölçme ve değerlendirme araçlarının kullanım yeterliği arasındaki ilişkinin incelenmesi. Scientific Educational Studies, 2 (1), 39-55.
  4. Baker, F. B. (2001). The basics of item response theory (2nd ed.). College Park, MD: University of Maryland, ERIC Clearinghouse on Assessment and Evaluation
  5. Başol, G. (2018). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
  6. Baştürk, S. (2014). Çoktan seçmeli testler. S. Baştürk (Ed.), Eğitimde ölçme ve değerlendirme (s. 119-154). Nobel Akademik Yayıncılık.
  7. Baykul, Y. (2010). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması (2. Baskı). Pegem Akademi
  8. Baykul, Y. (2015). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Pegem Akademi.
  9. Beevers, C. E. & Paterson, J. S. (2003). Automatic assesment of problem solving skills in mathematics active learning in higher education. 4(2), 127-145. https://doi.org/10.1177%2F1469787403004002002
  10. Ben-Hur, M. (2006). Concept-rich mathematics ınstruction. association for supervision and curriculum evelopment, Alexandria, Virginia, USA.
  11. Birgin, O. & Baki, A. (2012). Sınıf öğretmenlerinin ölçme-değerlendirme uygulama amaçlarının yeni matematik öğretimi programı kapsamında incelenmesi. Eğitim ve Bilim, 37(165), 152-167
  12. Boud, D. (2007). Reframing assessment as if learning were important. In D. Boud, & N. Falchikov (Ed.), Rethinking assessment in higher education: Learning for the longer term, London: Taylor & Francis Group.
  13. Brookhart, S. M. (2010). How to Assess Higher-Order Thinking Skills ın Your Classroom. Virginia: ASCD.
  14. Brooks, G. P., & Johanson, G. A. (2003). Test analysis program. Applied psychological measurement, 27, 305-306. https://doi.org/10.1177%2F0146621603027004007
  15. Cansoy, R. (2018). Uluslararası çerçevelere göre 21. yüzyıl becerileri ve eğitim sisteminde kazandırılması. İnsan ve Toplum Bilimleri Araştırmaları Dergisi, 7(4), 3112-3134. https://doi.org/10.15869/itobiad.494286
  16. Cohen, R.J. and Swerdlik, M.E. (2018). Psychological testing and assessment: An introduction to tests and measurement (9. Baskı). New York: McGraw-Hill Education.
  17. Crocker, L. M., & Algina, J. (2006). Introduction to classical and modern test theory (2nd edth).Victoria: Thomson Wadsworth (ed.)
  18. Çelikkaya, T., Karakuş, U. & Öztürk Demirbaş, Ç. (2010). Sosyal bilgiler öğretmenlerinin ölçme-değerlendirme araçlarını kullanma düzeyleri ve karşılaştıkları sorunlar. Ahi Evran Üniversitesi Eğitim Fakültesi Dergisi, 11(1), 57–76.
  19. Creswell, J. W., & Plano-Clark, V. (2014). Karma yöntem araştırmaları (Çev Edt: Dede, Y. ve Demir, SB), Anı Yayıncılık, Ankara.
  20. Çetin, B. (2019). Eğitimde ölçme ve değerlendirme. Ankara: Anı Yayıncılık.
  21. Çetin, T., Kuş, Z., & Karatekin, K. (2010). Sınıf ve sosyal bilgiler öğretmenlerinin gezi-gözlem yöntemine ilişkin görüşleri. Sosyal Bilimler Araştırmaları Dergisi, 158-180.
  22. DeVellis, R. F., (2006). Quantitative and Issues and Approaches: Classical Test Theory (CTT) and Item Response Theory (IRT). Medical Care, 44(11), 50-59
  23. Doğan, N. (2019). Eğitimde ölçme ve değerlendirme. İnsan Davranışları ve Ölçme Araçlarını Sınıflama. Ankara: Pegem Akademi Yayıncılık.
  24. Doğruöz, E. (2022). Çoktan seçmeli testler. Uygulama örnekleri ile etkili üniversite eğitimi. (Ed. Yöntem, M. K.) Eğitim Yayınevi.
  25. Dokumacı Sütçü, N., & Bulut, İ. (2016a). Ortaokul matematik öğretmenlerinin alternatif ölçme ve değerlendirme tekniklerine ilişkin yeterlik algıları ve bu teknikleri kullanma düzeyleri. Dicle Üniversitesi Ziya Gökalp Eğitim Fakültesi Dergisi, 290. https://doi.org/10.14582/DUZGEF.706
  26. Dokumaci-Sütçü, N., & Bulut, İ. (2016b). Ortaokul Matematik Öğretmenlerinin Alternatif Ölçme ve Değerlendirme Tekniklerini Kullanma Düzeylerine İlişkin Yeterlik Algılarının Değerlendirilmesi/Assesment of Competency Perceptions of Secondary School Math Teachers about the Level of the Use of AMET. e-Uluslararası Eğitim Araştırmaları Dergisi, 6(3).
  27. Duban, N., & Küçükyılmaz, E. A. (2008). Sınıf öğretmeni adaylarının alternatif ölçme-değerlendirme yöntem ve tekniklerinin uygulama okullarında kullanımına ilişkin görüşleri. İlköğretim online, 7(3), 769-784
  28. Duman, B. (2011). Sınıf öğretmeni adaylarının bağıl değerlendirmeye ilişkin görüşleri. NWSA-E Journal of New World Sciences Academy, 6(1), 536-548
  29. Erkuş, A. (2003). Psikometri üzerine yazılar. Türk Psikologlar Derneği Yayınları.
  30. Estrada, E. (2018). Speeded test. In The SAGE encyclopedia of educational research, measurement, and evaluation, 1, s. 846-848). California
  31. Filiz, Y. S. (2013). Öğrenme Öğretme Kuram ve Yaklaşımları. Ankara: Pegem Akademi.
  32. Gelbal, S., (2013). Ölçme ve Değerlendirme. Selahattin Gelbal (Ed.). Eskişehir: Anadolu üniversitesi Web-Ofset.
  33. Güler, N. (2011). Eğitimde Ölçme ve Değerlendirme. Ankara: PegemA.
  34. Hasançebi, B., Terzi, Y., & Küçük, Z. (2020). Madde güçlük indeksi ve madde ayırt edicilik indeksine dayalı çeldirici analizi. Gümüşhane Üniversitesi Fen Bilimleri Dergisi, 10(1), 224-240. https://doi.org/10.17714/gumusfenbil.615465
  35. Heritage, M. (2007). What do teachers need to know and do? Phi Delta Kappan, 89 (2), 140 – 145. https://doi.org/10.1177%2F003172170708900210
  36. Karasar, N. (2010). Bilimsel araştırma yöntemi: kavramlar, ilkeler, teknikler. Ankara: Nobel Yayınevi
  37. Karip, E. (Ed.). (2007). Ölçme ve değerlendirme. Pegem A Yayıncılık.
  38. Kılıç, S. (2013). Örnekleme yöntemleri. Journal of Mood Disorders, 3(1), 44-6. https://doi.org/10.5455/jmood.20130325011730
  39. Kline, R. B. (2005). Principles and practice of structural equation modeling (2nd ed.). New York, NY: Guilford
  40. Kutlu, Ö., Doğan, C.H., Karakaya, İ. (2008). Öğrenci Başarısının Belirlenmesi: Performansa ve Portfolyoya Dayalı Durum Belirleme. Ankara: PegemA Yayıncılık.
  41. Lord, F. & Novick, M. (1968). Statistical theories of mental test scores. Reading, Mass.: Addison-Wesley.
  42. MacCallum, R. C., Widaman, K. F., Zhang, S., ve Hong, S. (1999). Sample Size in Factor Analysis. Psychological Methods, 4, 84-99
  43. Marshall, C. & Rossman, G. B. (2014). Designing qualitative research. Sage.
  44. Mor Dirlik, E. (2021). Farklı kuramlar kapsamında hesaplanan madde ayırt edicilik parametrelerinin karşılaştırılması. Trakya Eğitim Dergisi, 11(2), 732-744. https://doi.org/10.24315/tred.700445 National Council for Teachers of Mathematics[NCTM]. (2000). Principles and standards for school mathematics. Reston, VA: Author.
  45. Orhan, T. A. (2007). Fen eğitiminde alternatif ölçme ve değerlendirme yöntemlerinin ilköğretim öğretmen adayı, öğretmen ve öğrenci boyutu dikkate alınarak incelenmesi. Yayınlanmamış Doktora Tezi, Ankara: Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü.
  46. Özdaş, F. (2019). Merkezi yerleştirme sınav sistemine ilişkin öğretmen ve öğrenci görüşlerinin değerlendirilmesi. Mukaddime, 10(2), 688-707 https://doi.org/10.19059/mukaddime.509244
  47. Özdemir, A. (2022). Ayrık Seçenekli Çoktan Seçmeli Testlerin Uygulanabilirliği. (Yayınlanmamış Doktora Tezi) Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
  48. Öztürk, H. (2015, Nisan 7). Nitel ve nicel araştırma nedir? Aralarındaki farklar nelerdir? https://haldunozturk.com/nitel-ve-nicel-arastirma-nedir-aralarindaki-farklar-nelerdir/
  49. Pandey, T. & Smith, T. R. (1991). A sampler of mathematics assessment (Eric Ed: 341 553). URL:www.eric.com
  50. Race, P., Brown, S., & Smith, B. (2005). 500 tips on assessment. (Second Ed.), Abingdon: Taylor & Francis Group.
  51. Saraç, H. (2018). Fen bilimleri dersi ‘Maddenin değişimi’ ünitesi ile ilgili başarı testi geliştirme: Geçerlik ve güvenirlik çalışması. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 18 (1), 416-445. https://doi.org/10.17240/aibuefd.2018.-388815
  52. Seheryeli, M. Y. (2018). Yazılı Anlatım Becerisi Puanlama Anahtarının Güvenirliğinin Klasik Test, Genellenebilirlik ve Madde Tepki Kuramlarına Göre İncelenmesi (Yüksek Lisans Tezi). Gazi Ünivesitesi Eğitim Bilimleri Enstitüsü, Ankara.
  53. Semerci, Ç. (2011). Ölçme ve değerlendirme. E. Karip (Ed), Eğitimde ölçme ve değerlendirme. Pegem Akademi Yayıncılık.
  54. Simkin, M.G., & Kuechler, W.L. (2005). Multiple ‐ choice tests and student understanding: What is the connection? Decision Sciences Journal of Innovative Education, 3 (1),73‐97.
  55. Simonson, M., Smaldino, S., Albright, M. ve Zvacek, S. (2012). Teaching and learning at a distance: Foundations of distance education (3rd ed.). New Jersey: Prentice Hall.
  56. Smith S. S. (2006). Early chilhood mathematics (3rd Ed.). Pearson Education
  57. Sözbilir, M. (2010). Betimsel İstatistik. https://avys.omu.edu.tr/storage/app/public/yusuf.sisman/128524/6.Not.pdf
  58. Tağrikulu, P., Bekdemir, Ü., & Omca Çobanoğlu, E. (2021). Üretim, dağıtım ve tüketim öğrenme alanına yönelik akademik başarı testi geliştirme: geçerlik ve güvenirlik çalışması. Kırşehir Eğitim Fakültesi Dergisi, 22(3), 1984-2004. DOI: 10.29299/kefad.953899
  59. Tan, Ş. (2013). Öğretimde ölçme ve değerlendirme KPSS el kitabı. Pegem A Yayıncılık. 8. Baskı
  60. Tekin, H. (2000). Eğitimde ölçme ve değerlendirme. Yargı Yayınevi.
  61. Temizkan, M., & Sallabaş, M. E. (2011). Okuduğunu anlama becerisinin değerlendirilmesinde çoktan seçmeli testlerle açık uçlu yazılı yoklamaların karşılaştırılması. Dumlupınar Üniversitesi Sosyal Bilimler Dergisi, (30), 207-220.
  62. Toprakçı, E. (2018). Sınıfa Dayalı Yönetim. (1. Baskı). Ankara: Pegem Yayınları
  63. Toprakçı, E. (2017). Sınıf Yönetimi. (3. Baskı). Ankara: Pegem Yayınları
  64. Toptaş, V. (2011). Sınıf öğretmenlerinin matematik dersinde alternatif ölçme ve değerlendirme yöntemlerinin kullanımı ile ilgili algıları. Eğitim ve Bilim, 207.
  65. Tuncel, T., & Kazu, İ. Y. (2019). Ortaöğretim matematik öğretim programlarının ölçme ve değerlendirme boyutunda öğretmen görüşleri açısından incelenmesi. Fırat Üniversitesi Sosyal Bilimler Dergisi, 29(2), 163-179. https://doi.org/10.18069/firatsbed.549200
  66. Tunç, T. (2020). Nicel Araştırma Yöntemi ve Aşamaları https://www.bilgiustam.com/nicel-arastirma-yontemi-ve-asamalari/
  67. Turgut, M. F. (1986). Eğitimde ölçme ve değerlendirme. Saydam Yayınları.
  68. Türkben, E. (2019). İşe alım sürecinde uygulanan seçme yerleştirme tekniklerinin iş tatmini ve işten ayrılma niyetine etkisi ve bir araştırma (Doctoral dissertation, Marmara Üniversitesi (Türkiye)).
  69. Uyan, N. (2015, Aralık 8). Geleneksel ölçme ve değerlendi̇rme yöntemleri̇ https://www.slideshare.net/NuranUyan/geleneksel-lmevedeerlendirmeyntemleri
  70. Üstüner, A. & Şengül, M. (2004). Çoktan seçmeli test tekniğinin Türkçe öğretimine olumsuz etkileri. Fırat Üniversitesi Sosyal Bilimler Dergisi, 14(2), 197–208.
  71. Yaman, S. (2016). Çoktan seçmeli madde tipleri ve fen eğitiminde kulanılan örnekleri. Gazi Eğitim Bilimleri Dergisi, 2 (2), 151-170
  72. Yıldırım, A. & Şimşek, H. (2006). Sosyal bilimlerde nitel araştırma yöntemleri, (5. Baskı), Seçkin Yayıncılık.
  73. Yıldırım, Y. & Şimşek, H. (2016). Sosyal Bilimlerde Nitel Araştırma Yöntemleri. Seçkin Yayıncılık.
  74. Atabek Yiğit, E. & Balkan Kıyıcı, F. (2018). Bilişsel stiller ve alternatif ölçme ve değerlendirme araçlarının kullanım yeterliği arasındaki ilişkinin incelenmesi. Scientific Educational Studies, 2 (1), 39-55.
  75. Crocker, L. M., & Algina, J. (2006). Introduction to classical and modern test theory (2nd edth).Victoria: Thomson Wadsworth (ed.)
  76. Saraç, H. (2018). Fen bilimleri dersi ‘Maddenin değişimi’ ünitesi ile ilgili başarı testi geliştirme: Geçerlik ve güvenirlik çalışması. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 18 (1), 416-445. https://doi.org/10.17240/aibuefd.2018.-388815
  77. Yaman, S. (2016). Çoktan seçmeli madde tipleri ve fen eğitiminde kulanılan örnekleri. Gazi Eğitim Bilimleri Dergisi, 2 (2), 151-170