Analysis of Multiple-choice versus Open-ended Questions in Language Tests According to Different Cognitive Domain Levels

Yabancı Dil Ölçümünde Açık Uçlu ve Çoktan Seçmeli Soruların Farklı Biliş Seviyelerinde Karşılaştırılması

Özet

Classroom practices, materials and teaching methods in language classes have changed a lot in the last decades and continue to evolve; however, the commonly used techniques to test students’ foreign language skills have not changed much regardless of the recent awareness in Bloom's taxonomy. Testing units at schools rely mostly on multiple choice questions (MCQ) because these types of questions are reliable, cost effective and time savers; however, these measure only surface information in a particular skill while other skills such as critical thinking and synthesis cannot be evaluated using MCQs. On the other hand, open-ended question (OEQ) tests include analysis and synthesis and a higher level of cognitive processing, with some washback effects such as less reliable results and more time and effort in scoring. This study aims to compare language learners’ performances on MCQ and OEQ tests administered to 116 students studying at a language preparatory school in Eskisehir. Four separate tests including grammar and reading questions in both forms were prepared and administered to the same students respectively. Research results showed that there was a significant difference between OEQ and MCQ tests in terms of item difficulty and item discrimination levels. In both grammar and reading assessment, MCQ tests were found to be easier than OEQ tests.

Abstract

Yabancı dil sınıflarında görülen ders işleme teknikleri, kullanılan materyaller ve sınıf aktiviteleri son yıllarda oldukça değişmiş ve gelişmiştir, ancak Bloom’un taksonomisinin yaygın kullanımına rağmen öğrencilerin dil becerilerinin ölçümünde kullanılan sınav metotları pek fazla değişikliğe uğramamıştır. Okulların ölçme değerlendirme birimleri birtakım nedenlerden ötürü (güvenirlik, ekonomiklik, zaman tasarrufu) eleştirel düşünce, sentez kabiliyeti gibi becerileri ölçmeyip yüzeysel bilgiyi ölçen çoktan seçmeli sınavların sonuçlarına güvenmektedirler. Öte taraftan, açık uçlu sorular da analiz-sentez yeteneği ve üst düzey bilişsel becerileri ölçmeye daha uygun olmalarına rağmen daha düşük güvenirlik, daha fazla zaman ve emek harcanması gibi olumsuz etkileri de beraberinde getirmektedirler. Bu çalışmada Eskişehir’deki bir dil okulunda eğitim gören 116 öğrencinin katılımıyla yabancı dil başarı ölçümünün açık uçlu ve çoktan seçmeli sorular kullanılarak karşılaştırılması amaçlanmıştır. Çalışmada dilbilgisi ve okuma becerileri dersi için hazırlanan iki açık uçlu sınavın çoktan seçmeli sorular içeren versiyonları hazırlanmış ve sonuçların karşılaştırılmasında kullanılmıştır. Araştırma sonuçları açık-uçlu ve çoktan seçmeli testler arasında madde zorluğu ve madde ayrımcılık düzeyleri açısından anlamlı bir fark olduğunu göstermiştir. Hem dilbilgisi hem de okuma çoktan seçmeli testlerinin açık uçlu testlerden daha kolay olduğu bulunmuştur