Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightGeliştirilen analitik rubriğin geçerli ve güvenilir bir ölçme aracı olduğu sonucuna ulaşılmıştır.
📌 3 Maddede Bu Makale
Özet
Çalışmada ders kitaplarındaki metinleri değerlendirmek üzere “PISA Ölçütünde Metinsellik Rubriği”nin (PÖMR) geliştirilmesi amaçlanmıştır. Veriler 2019-2020 eğitim-öğretim yılında okutulan ortaokul (5-8. sınıf) Türkçe ders kitaplarında serbest okuma metni olarak yer alan ve PISA’nın sürekli metin özelliklerini taşıyan 20 okuma metninin 4 bağımsız puanlayıcı tarafından puanlanmasıyla elde edilmiştir. Analitik rubrik için ölçüt atanırken PISA 2018 okuma becerileri değerlendirme çerçevesindeki bilişsel süreçler ve okuma yeterlik düzeyleri dikkate alınmıştır. Her ölçüt için 3 farklı başarı derecesi tanımlanmıştır. Geliştirilen analitik rubriğin geçerlik kanıtlarının sağlanması için öncelikle 8 uzmanın görüşüne başvurulmuştur. Toplanan uzman tepkileri üzerinden her bir ölçüt için kapsam geçerlik oranı hesaplanmıştır. Uzman görüşünden gelen dönütler ile geçerlik kanıtı olması amacıyla temel bileşenler analizi uygulanmıştır. Analitik rubriğin güvenirlik kanıtları için hesaplanan sınıf içi korelasyon katsayısı .96 ve Cronbach alfa değeri .96 olarak bulunmuştur. Puanlayıcılar arası güvenirliğe kanıt sağlamak için 2 Türkçe öğretmeninin yaptığı puanlamalar üzerinden ağırlıklandırılmış Kappa hesaplanmıştır. Elde edilen ağırlıklandırılmış Kappa katsayısı testine göre analitik rubriğin ölçütleri iyi ve çok iyi uyuşma göstermiştir. Yapılan çalışmalarla “bilgiye ulaşma”, “anlama” ve “derinlemesine düşünme ve değerlendirme” olmak üzere 3 ana ölçüt ve toplam 8 alt ölçütten oluşan “PISA Ölçütünde Metinsellik Rubriği” geliştirilmiştir. Geliştirilen analitik rubriğin geçerli ve güvenilir bir ölçme aracı olduğu sonucuna ulaşılmıştır.
Abstract
The goal of this study was to develop a "Textuality Rubric in PISA Criterion" (TRIPC) in order to evaluate schoolbook texts. The data were obtained by using the analytical rubric developed for the study in order to score 20 reading texts with continuous text characteristics of PISA which were included in Turkish textbooks used in 5th, 6th, 7th, and 8th grades during the 2019-2020 school year. Cognitive processes and reading proficiency levels within the framework of PISA 2018 reading skills assessment were taken into consideration when setting the criteria of the analytical rubric. Three different degrees of success were defined for each criterion. First, 8 experts were consulted in order to obtain validity proof for the developed analytical rubric. Content validity rates were calculated for each criterion based on the responses of these experts and a principle components analysis was also conducted in order to obtain proof of validity. Intraclass correlation coefficient and Cronbach alpha value calculated for proof of reliability for the analytical rubric were 0.96 and 0.96, respectively. Weighted Kappa was calculated by using scores given by two Turkish teachers in order to obtain proof of inter-rater reliability. According to the obtained weighted Kappa coefficient test, the analytical rubric criteria showed good and very good agreement. "Textuality Rubric in PISA Criterion" consisting of 3 main criteria, namely "obtaining information”, "understanding” and "reflecting and evaluating” and 8 sub-criteria were developed. It was concluded that the analytical rubric developed is a highly valid and reliable measurement tool.