AI Summary & Key Takeaways
AI InsightIt seems that comparing the rating results across the classrooms and courses independent of the achievement levels of the students may be misleading especially for the high-stake decisions since the origin of the scale is not the same across high and low achieving groups.
📌 3 Key Takeaways
Abstract
The invariance in the scores of student rating of instruction was studied across high and low achieving classrooms. Achievement levels were determined by the two criteria such as self-reported expected grades and end of semester grades. The data included 625 classrooms. The equality of (i) factorial structure, (ii) factor loadings, (iii) item intercepts, and (iv) error variances of the 7 item rating scale were studied across these groups. With respect to self-reported expected grades, high and low achieving classes produced invariant scale characteristics except strict invariance. On the other hand, with respect to end of semester grades, full equality in item intercepts and error variances were not achieved. It seems that comparing the rating results across the classrooms and courses independent of the achievement levels of the students may be misleading especially for the high-stake decisions since the origin of the scale is not the same across high and low achieving groups.
Özet
Bu çalışmada üniversite düzeyinde öğretimi değerlendirme anketi puanlarının üst ve alt başarı grupları arasındaki ölçme değişmezliği incelenmiştir. Başarı düzeyleri öğrencilerin not beklentileri ve dersin sene sonu başarı ortalaması şeklinde iki ölçüt ile belirlenmiştir. Çalışmanın verisi 625 dersten oluşmaktadır. Yedi maddelik anketin (i) faktör yapısı, (ii) faktör yükleri, (iii) madde ortalamaları ve (iv) hata varyanslarının değişmezliği iki başarı grubu arasında analiz edilmiştir. Öğrencilerin not beklentilerine göre, üst ve alt başarı grupları hata varyanslarının değişmezliği dışında değişmez ölçek özellikleri görülmüştür. Diğer yandan, sene sonu notlarına göre yapılan inceleme sonucunda, madde ortalamaları ve hata varyanslarında tam değişmezlik gözlemlenmemiştir. Çalışma sonuçları öğretim elemanı değerlendirme puanlarının sınıflar ve dersler arasında başarı düzeylerinden bağımsız olarak karşılaştırılmasının yanıltıcı sonuçlar doğurabileceğini göstermektedir. Üst ve alt başarı gruplarının ölçek başlangıç noktaları farklı olduğu için bu durum özellikle ciddi kararlar alınması aşamalarında daha önem kazanmaktadır.