Yükseköğretim Öğrencilerinin Akademik Yazma Becerilerinin Değerlendirilmesinde Puanlayıcı Eğitiminin Farklılaşan Puanlayıcı Fonksiyonu Üzerindeki Etkisinin İncelenmesi

Investigating the Effect of Rater Training on Differential Rater Function in Assessing Academic Writing Skills of Higher Education Students

Özet

Bu araştırmanın amacı, yükseköğretimdeki öğrencilerin akademik yazma becerilerinin değerlendirilmesi sürecinde puanlayıcı eğitiminin farklılaşan puanlayıcı fonksiyonu (puanlayıcı hatası) üzerindeki etkisini incelemektir. Araştırma yarı deneysel desenlerden ön test son test kontrol gruplu deneysel desen ile yürütülmüştür. Araştırmanın çalışma grubu 22 deney ve 23 kontrol grubundan olmak üzere toplam 45 puanlayıcıdan oluşmaktadır. Puanlayıcılar, daha önce herhangi bir puanlayıcı eğitimine katılmayan ve puanlama deneyimlerinin benzer olduğu tespit edilen öğretmen adaylarından oluşmaktadır. Araştırma kapsamındaki veri, araştırmacılar tarafından geliştirilmiş olan analitik dereceli puanlama anahtarı ve Uluslararası İngilizce Dil Test Sistemi tarafından hazırlanmış olan düşünce temelli bir yazma görevi kullanılarak toplanmıştır. Araştırma kapsamında 39 öğrencinin ikinci dilde (İngilizce) yazmış oldukları kompozisyonlar değerlendirilmiştir. Veri analizi olarak çok yüzeyli Rasch modeli kullanılmış olup, bu analiz tamamen çaprazlanmış desen altında yürütülmüştür. Araştırmanın bulguları incelendiğinde verilen puanlayıcı eğitiminin farklılaşan puanlayıcı fonksiyonu üzerinde etkili olduğu bulunmuş ve bu sonuca dayalı öneriler sunulmuştur.

Abstract

This study aimed to examine the effect of rater training on the differential rater function (rater error) in theprocess of assessing the academic writing skills of higher education students. The study was conducted with apre-test and post-test control group quasi-experimental design. The study group of the research consisted of 45raters, of whom 22 came from experimental, and 23 came from control groups. The raters were pre-serviceteachers who did not participate in any rater training before, and it was investigated that they had similarexperiences in assessment. The data were collected using an analytical rubric developed by the researchers andan opinion-based writing task prepared by the International English Language Testing System (IELTS). Withinthe scope of the research, the compositions of 39 students that were written in a foreign language (English) wereassessed. Many Facet Rasch Model was used for the analysis of the data, and this analysis was conducted underthe Fully Crossed Design. The findings of the study revealed that the given rater training was effective ondifferential rater function, and suggestions based on these results were presented.