Using Rank-order Judgments Scaling to Determine Students’ Evaluation Preferences

Öğrencilerin Değerlendirme Tercihlerinin Sıralama Yargılarına Dayalı Ölçeklenmesi

Abstract

Purpose: This study sought to determine university students’ evaluation preferences and then scaled them based on their rank-order judgments.Research Methods: The survey model was used in this study. This study was conducted with a total of 376 university students of varying grade levels enrolled in different departments of the faculty of education of two separate state universities in Turkey during the 2017-2018 academic year. Data were collected using a 13-item survey designed specifically for this study that solicited answers regarding students’ evaluation preferences in measuring their academic performance. Students first ranked to evaluation types from most to least preferred and then assigned a single number for each stimulus. The data attained from the study were then scaled based on rank-order judgments.Findings: The study findings revealed that students most preferred to be assessed using oral exams and least preferred tests composed of multiple-choice questions. Implications for Research and Practice: This study was restricted to university students enrolled in the faculty of education of two state universities in Turkey. By conducting a similar study with students enrolled in other faculties in the same or different higher education institutions results and potential differences between faculties may be compared.

Özet

Problem Durumu: Eğitim sürecinin önemli ögelerinden biri değerlendirmedir. Eğitim sisteminin, işleyişi ve sürecin etkili bir şekilde ilerleyip ilerlemediğinin kontrolü ancak değerlendirme ile belirlenebilmektedir. Ölçme sonuçlarının belirlenen ölçüt veya ölçütler takımıyla karşılaştırılarak bir karara varma süreci olan değerlendirme, öğrencilerin mesleki veya beceri açıdan eğilimlerinin belirlenmesine yardımcı olmasının yanısıra öğretimin niteliği hakkında ilgili paydaşlara önemli bilgiler sağlar (Turgut & Baykul, 2010). Değerlendirme, sadece öğrenme sürecinin sonunda gerçekleştirilen ve öğretimden bağımsız bir durum olarak ele alınamaz. Aynı zamanda öğrenci başarısı, hedef ve kazanımlara ulaşma düzeyleri hakkında da bilgi sağlar. Ayrıca, öğrencilerin sınavlara nasıl hazırlandıklarını, öğrenme sürecinde karşılaştıkları zorlukları, derslerine nasıl çalıştıkları gibi farklı değişkenler hakkında da bilgi elde edilmesine yardımcı olur (Birenbaum, 1997; Struyven, Dochy & Janssens, 2005). Biggs (2003)’e göre, değerlendirme öğrenmenin gelişmesine önemli katkı sunmaktadır. Bu nedenle de, nitelikli bir değerlendirme yöntemi, öğrencilerin öğrenme süreçlerinin bir parçası olmalı ve öğrencilere öğrenme sürecinde nasıl öğrenmeleri gerektiği konusunda da rehberlik etmelidir (Gulbahar & Büyüköztürk, 2008). Öğrencilerin öğretimsel tercihleri ve değerlendirme yöntemlerine ilişkin tercihlerinin, akademik başarı, öğrenmeye ilişkin algıları ve öğrencilerin öğrenme sürecini nasıl gerçekleştirdiklerini ve de tüm bunların değerlendirme tercihine nasıl bir etkiye sahip olduğuna ilişkin alan yazında (Biggs, 2003; Brenbaum, 2003; Struyven & Digerleri, 2005; Ekinci, 2009) yapılmış araştırmalar bulunmaktadır. Yapılan araştırmalarda (Mayya, Rao ve Ramnarayan, 2004; McManus, Richards & Winder 1999; Sambell, McDowell & Brown, 1997; Scouller, 2000) öğrenme yaklaşımlarının öğrencilerin akademik başarıları ile değerlendirme tercihlerine anlamlı düzeyde farklılık oluşturduğu tespit edilmiştir. Ancak alan yazın incelendiğinde, yapılan araştırmaların çoğunluğunun, öğrencilerin değerlendirme tercihlerine ilişkin daha çok istatistiksel anlamlılık ve ilişki üzerine olduğu tespit edilmiş (Gelbal & Kelecioglu, 2007; Birgin & Gurbuz, 2008; Struyven, Dochy & Janssens, 2005; Gijbels & Dochy, 2006); öğrencilerin ne tür değerlendirme türlerini tercih ettiklerini ortaya çıkaran az sayıda (Altun ve Gelbal, 2014; Isnac, 2018; Sahin, Ozturk Boztunc & Teker Tasdelen, 2015) araştırma bulunmaktadır. Bu araştırmalardan sadece Isnac (2018) ve Sahin, Ozturk Boztunc & Teker Tasdelen (2015) tarafından yapılan araştırmalarda, öğrencilerin değerlendirme tercihleri ölçekleme yöntemleriyle belirlenmiştir. Alan yazın incelendiğinde, üniversite öğrencilerinin değerlendirme tercihlerinin sıralama yargılarına dayalı ölçekleme yoluyla incelendiği sadece bir çalışmaya (Sahin, Ozturk Boztunc & Teker Tasdelen, 2015) rastlanmıştır. Öğrencilerin başarılarının değerlendirilmesinde tercih ettikleri değerlendirme türlerinin belirlenmesi, öğrencilerin çalışma alışkanlıkları ve sınavlara nasıl hazırlandıkları hakkında önemli bilgiler ortaya koyacağı düşünülmektedir. Bu bağlamda araştırmanın problemi, üniversite öğrencilerinin değerlendirme tercihlerine ilişkin ölçek değerlerinin belirlenmesidir. Araştırmanın Amacı: Araştırmanın amacı, üniversite öğrencilerinin değerlendirme tercihlerinin belirlenmesi ve değerlendirme tercihlerinin sıralama yargılarına göre ölçeklenmesidir. Araştırmanın Yöntemi: Araştırma tarama modeli ile tasarlanmıştır. Araştırma Canakkale Onsekiz Mart ve Trakya Üniversitesi eğitim fakültelerinde öğrenim görmekte olan toplam 376 üniversite öğrencisi ile gerçekleştirilmiştir. Araştırmada veri toplama aracı araştırmacı tarafından geliştirilmiştir. Veri toplama aracının geliştirme aşamasında, alan yazın taranmış ve öğrencilerin akademik başarılarını değerlendirmede kullanılabilecek ölçme araçları belirlenmiştir. Ayrıca araştırma kapsamında öğrencilere değerlendirme tercihlerinin sorulduğu yarı yapılandırılmış bir görüşme formu kullanılmıştır. Bu görüşme formu, eğitim fakültesinde çeşitli sınıflarda öğrenim görmekte olan 80 öğrenciye uygulanmış ve değerlendirme tercihlerini sırasız olarak yazmaları istenmiştir. Öğrencilerin vermiş oldukları yanıtlar incelenerek ortak olanlar (toplam 16 madde) bir araya getirilmiştir. Daha sonra bu maddeler uzmanların (üç ölçme ve değerlendirme uzmanı) görüşüne sunulmuş ve uzman görüşleri doğrultusunda 13 madde ölçme aracının maddelerini oluşturmuştur.Araştırmanın Bulguları: Bulgularda öncelikle toplam 13 uyarıcı için 376 yargıcının her bir uyarıcı için vermiş oldukları sıra numaralarına ilişkin frekans tablosu oluşturulmuştur. Satır ve sütunların toplam gözlem sayısı 376 ‘dır. Bu işlemden sonra ikili olarak tüm uyarıcılar arasındaki n(sjk>ski) tabloları hazırlanmış ve tüm uyarıcılar arasında ikili sıra frekanslar matrisi elde edilmiştir. Daha sonra oranlar matrisi hesaplanmıştır. Oranlar matrisinde en önemli nokta köşegenleri toplamının 1’i vermesidir. Buna göre, oranlar matrisindeki köşegenler toplamının 1’e eşit olup olmadığı incelenmiş ve köşegenler toplamının 1’e eşit olduğu tespit edilmiştir. Bu kontrolün ardından, V. Hal denklemi kullanılarak, ikili karşılaştırma yöntemi ile analize devam edilmiştir. Daha sonra birim normal sapmalar matris değerleri hesaplanmıştır. Sonuç ve Öneriler: Araştırmadan elde edilen bulgulara göre, öğrenciler en çok sözlü sınavı tercih etmişlerdir. Sözlü sınav her ne kadar, öğrenciyi heyecandan ve sınav ile ilgili gereksiz korkulardan kurtarsa da, puanlanmasındaki öznellik, sınav yapan ile yapılan arasındaki etkileşim ve sınav sorularının her birey için önceden hazırlama gerekliliği gibi sebeplerden dolayı kalabalık gruplarda gerçekleştirilmesi oldukça zor olabilmektedir. (Turgut & Baykul, 2010).Öğrencilerin değerlendirme türü olarak en çok tercih ettiği ikinci uyarıcı ise “sınırlı süre içerisinde, kitap ve defter açık bir şekilde açık uçlu sorularla değerlendirme” yapılmasıdır. Açık u

Keywords: sıralama yargılarına dayalı ölçekleme, Değerlendirme tercihleri