Computer-based and paper-based testing: Does the test administration mode influence the reliability and validity of achievement tests?

Bilgisayar destekli testler ve klasik testler: Test uygulama yöntemi başarı sınavlarının güvenirliğini ve geçerliliğini etkiler mi?

Abstract

This article reports the findings of a study that sought to investigate whether computer-based vs. paper-basedtest-delivery mode has an impact on the reliability and validity of an achievement test for a pedagogical contentknowledge course in an English teacher education program. A total of 97 university students enrolled in theEnglish as a foreign language (EFL) teacher education program were randomly assigned to the experimentalgroup that took the computer-based achievement test online and the control group that took the same test inpaper-and-pencil based format. Results of Spearman Rank order and Mann-Whitney U tests indicated that testdeliverymode did not have any impact on the reliability and validity of the tests administered in either way.Findings also demonstrated that there was not any significant difference in test scores between participants whotook the computer-based test and those who took the paper-based test. Findings were discussed in terms of theidea that computer technology could be integrated into the curriculum not only for instructional practices butalso for assessment purposes.

Özet

Bu çalışma sınavların uygulanma yönteminin, ölçme-değerlendirmenin temel unsurları olan geçerlilik ve güvenirlik üzerinde etkisini araştırmayı amaçlamaktadır. Bu bağlamda Türkiye’de bulunan bir devlet üniversitesinde İngiliz dili eğitimi bölümünde okumakta olan 97 öğretmen adayı çalışmaya katılmıştır. Bütün katılımcılar İngiliz Dili Eğitimi Yöntemleri dersine kayıtlı olan öğrencilerdir. Katılımcılar deney grubu ve kontrol grubu olarak ikiye ayrılmıştır. Deney grubunda olan katılımcılar sınava bilgisayar ortamında katılırken kontrol grubunda olan katılımcılar klasik yöntemle sınava girmiştir. Çalışma sonunda sınavların bilgisayar ortamında ya da klasik yöntemle verilmesinin, güvenirlik ve geçerlilik üzerinde etkisi olmadığı göstermiştir. Ayrıca, öğrencilerin bilgisayar ortamında sınava katılmaları başarı puanlarını etkilememiştir. Sonuç olarak, bilgisayar desteği sadece eğitim süresince değil ölçme-değerlendirme aşamasında da kullanılabilir.