Comparing Fully Crossed and Nested Designs Where Items Nested in Raters in Generalizability Theory

Genellenebilirlik Kuramında Tümüyle Çaprazlanmış ve Maddelerin Puanlayıcılara Yuvalandığı Desenlerin Karşılaştırılması

Abstract

This study aims to investigate the comparison of G and Phi coefficients calculated both by a fully crossed (bxpxm) design (b: person; p: rater; m:item) and a nested (bx(m:p)) design in which items are nested in raters but individuals are crossed with items and raters in the process of grading English Composition Writing Skill. The study consists of students who attend a private university and 3 raters. According to the results, G and Phi coefficients of the fully crossed design were higher. In terms of sources of variance, while person has the highest percentage in total variance in fully crossed design, occasion has relatively low percentage. Findings indicate that fully crossed design yields more reliable results in classroom practices. In this respect, fully crossed design is recommended for classroom practices.

Özet

Bu çalışmada İngilizce Kompozisyon Yazma Becerisinin puanlanması sürecinde tümüyle çaprazlanmış desenin (bxpxm) ve maddelerin puanlayıcıya yuvalandığı ancak bireylerin maddeler ve puanlayıcılar ile çaprazlanmış olduğu desenin (bx(m:p)) kullanıldığı durumlarda elde edilen G ve Phi katsayılarının karşılaştırılması amaçlanmıştır. Çalışmaya bir vakıf üniversitesi hazırlık okulunda öğrenim gören ve 3 puanlayıcı dahil olmuştur. Çalışma sonucunda tümüyle çaprazlamış desen ile elde edilen G ve Phi katsayıları daha yüksek çıkmıştır. Değişkenlik kaynaklarına göre varyans bileşenleri incelendiğinde birey ana etkisine ilişkin varyans tümüyle çaprazlanmış desen için daha yüksekken kalan etkiye ilişkin varyans değeri daha düşüktür. Bu bulgular sınıf içi uygulamalarda tümüyle çaprazlanmış desenin daha güvenilir sonuçlar verdiğini göstermektedir. Bu bağlamda sınıf içi uygulamalarda pratik koşullar sağlandığında tümüyle çaprazlanmış desenin kullanılması önerilmektedir.