SavedAdd your journal

Journals / International Journal of Assessment Tools in Education / 2017 / Cilt: 4 - Sayı: 2

A Generalizability Analysis of the Reliability of Measurements: "An Example of Cell Division and Heredity Unit"

Bir Genellenebilirlik Analizi Çalışması: “Hücre Bölünmesi & Kalıtım Ünitesi”

Gülşah BAŞOL
Muammer YÜKSEL
Pages
149–165
Publication Date
2022-10-19
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

Findings of decision study indicated Student facet as the main source of the variation in the data for both types of the measurements

📌 3 Key Takeaways

🎯
Objective & Hypothesis:The purpose of the study is to measure students' performance through different measurement tools and compare the findings through G Theory in order to identify the errors associated with the raters and items to improve the future applications.
📊
Key Findings & Data:The sample consisted of 48 eighth graders in Kars.
💡
Conclusion & Impact:Findings of decision study indicated Student facet as the main source of the variation in the data for both types of the measurements
🔬Design:Research Article
📍Scope:Comprehensive Sample
⚙️Variables:Domain Parameters

Abstract

The purpose of the study is to measure students' performance through different measurement tools and compare the findings through G Theory in order to identify the errors associated with the raters and items to improve the future applications. The sample consisted of 48 eighth graders in Kars. Two different types of exams (a multiple choice test and an essay) were applied and essays were graded by three raters. G and K analyses were performed on the results. According to the findings, the error rate was higher for the essays in comparison to multiple-choice test. The mean score was higher for the multiple-choice test, the variances were similar. There were no differences among the essay scores given by different raters. Findings of decision study indicated Student facet as the main source of the variation in the data for both types of the measurements

Özet

Araştırmanın amacı, aynı konu alanı ile farklı ölçme araçlarından elde edilen puanların G Kuramı ile karşılaştırılmasıdır. Örneklem Kars'ta öğretim gören 48 sekizinci sınıf öğrencisinden oluşmuştur. İki farklı sınav türü (çoktan seçmeli test ve yazılı sınav) öğrencilere uygulanmış ve yazılı sınav üç puanlayıcı tarafından puanlanmış, sonuçlar üzerinde G ve K analizleri yapılmıştır. Sonuçlar çoktan seçmeli test ve yazılı sınav için karışan hata varyanslarının yazılı sınavda daha fazla olduğunu, çoktan seçmeli testin puan ortalamasının daha yüksek olduğunu, varyansların ise iki sınav türü için birbirine yakın olduğunu ortaya koymuştur. Yazılı sınav için puanlayıcılar arasında herhangi bir fark bulunmamıştır. Ayrıca, karar çalışmasından elde edilen sonuçlar verideki varyansın ana kaynağının Öğrenci faktörü olduğunu ortaya koymuştur

🔖

Cite This Article

BAŞOL, G., YÜKSEL, M. (2022). A Generalizability Analysis of the Reliability of Measurements: "An Example of Cell Division and Heredity Unit". International Journal of Assessment Tools in Education, Cilt: 4 - Sayı: 2, 149–165. https://ajindex.com/articles/540250

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (7)

  1. Aiken, L.R. (1991). Psychological testing and assessment (7. baskı). Boston: Allyn and Bacon. Alharby, E.R. (2006). A comparison between two scoring methods, holistic vs. Analytic using two measurement models, the Generalizability Theory and the many facet Rasch measuremen within the context of performance assessment. Unpublished doctoral dissertation. The Pennsylvania State University Faculty of Education, Pennsylvania. Alkahtani, S.F. (2012). Oral performace scoring using generalizability Theory and many-facet Rasch measurement: a comparison study. Unpublished doctoral dissertation. The Pennsylvania State University, Pennsylvania. Atılgan, H. (2004). Genellenebilirlik Kuramı ve çok değişkenlik kaynaklı rasch modelinin karşılaştırılmasına ilişkin bir araştırma. Yayınlanmamış doktora tezi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara.
  2. Au, F., Prahardhi, S., & Shiell, A. (2008). Reliability of two instruments for critical assessment of economic evaluations. Value in Health, 11, 435- 439. Başol, G. (2008). Bilimsel araştırma süreci ve yöntem. İçinde Kılıç, O. & Cinoğlu M. (Ed.), Bilimsel araştırma yöntemleri, Bölüm 5, İstanbul:
  3. Lisans Yayıncılık. Başol, G. (2016). Eğitimde ölçme ve değerlendirme. Genişletilmiş 4. Baskı, Ankara:
  4. Pegem Yayıncılık. Bottema-Beutel, K., Lloyd, B., Carter, E.W. & Asmus, J.M. (2014). Generalizability and decision studies to inform observational and experimental research in classroom settings. American Journal on Intellectual and Developmental Disabilitie, 119(6), 589–605.
  5. Brennan, R.L. (2001). Generalizability Theory. New York: Springer-Verlag. Brooks, G.P. & Johanson, G.A. (2003). Test Analysis Program. Applied Psychological Measurement, 27, 305-306.
  6. Brown, J.D., (2005). Generalizability and decision studies. SHIKEN: JALT Testing&Evaluation SIG Newsletter. 9(1), 12 – 16. Burns, K.J. (1998). Beyond classical reliability: Using Generalizability Theory to assess dependability. Research in Nursing and Healty, 21, 83-90.
  7. Burton, E.B. (1998). An investigation of the school-level generalizability of performance assessment results. Unpublished doctoral dissertation. Rutgers University, New Jersey. Çakıcı Eser, D. (2011). Genellenebilirlik Kuramı ve lojistik regresyona dayalı hesaplanan puanlayıcılar arası tutarlığın karşılaştırılması. Yayınlanmamış yüksek lisans tezi. Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü, Ankara. EduG 2012 software. EduG version 6.1-e, Generalizability Study. Société Suisse pour la Recherche en Edu