Journals / Hacettepe Üniversitesi Eğitim Fakültesi Dergisi / 2004 / Cilt: 2004 - Sayı: 26
The Relation Between Scores Predicted from Structured Features of Essay and Scores Based on Scoring Key and Overall Impression in Essay Type Examinations
- Pages
- 19–26
- DOI
- —
Abstract
The purpose of this research is to determine the extent to which structural features of essays and keywords predict scoring by key and overall impression in writing test; and which structural features are the best predictors; and the degree of inter-reliability of scoring by key and overall impression. For that purposes, a writing test has been administered to 143 udergraduate freshman students enrolled at Hacettepe Universitiy Faculty of Education Department of Elemantary Education Program in Primary Education in 2001-2002 schol year. The writing of the students have been scored by two Turkish Language and Literature teachers using both scoring key and overall impression scoring methods. Predetermined structural features and keywords were identified by-doing content analysis for the compositions written by students. As a result, the expalantion level of the structural features to the key scoring was found 0,52 and the expalantion level of the structural features to the overall impression was found 0,60. Inter-rater reliability of the key scoring was found 0,45, and overall impression scoring was 0,53.
Özet
Bu araştırmada, kompozisyon sınavlarında, kompozisyonun biçimsel özelliklerinin anahtarla puanlamayı ve genel izlenimle puanlamayı ne derece yordadığı ve en iyi yordayıcıların hangi biçimsel özellikler olduğu incelenmiştir. Ayrıca anahtar ile ve genel izlenimle puanlamanın güvenirlikleri belirlenmeye çalışılmıştır. Bu amaç doğrultusunda Hacettepe Üniversitesi Eğitim Fakültesi İlköğretim Bölümü Sınıf Öğretmenliği Anabilim Dalında 2001-2002 yılında 1. sınıfta öğrenim gören 143 öğrenciye bir kompozisyon sınavı uygulanmıştır. Bu kompozisyonlar iki puanlayıcıya hem anahtarla hem de genel izlenimle puanlattırılmıştır. Kompozisyonların içerik analizi yapılarak, her bir kompozisyonda önceden tanımlanan biçimsel özellikler ve anahtar sözcükler belirlenmiştir. Araştırmanın sonunda biçimsel özelliklerin, anahtarla yapılan puanlamanın 0,52'sini, genel izlenimle yapılan puanlamanın 0,60'ını açıkladığı görülmüştür. Anahtarla puanlamanın güvenirliği 0,45, genel izlenimle puanlamanın güvenirliği de 0,53 bulunmuştur.