AI Summary & Key Takeaways
AI InsightConsequently, it is suggested that artificial intelligence can be a powerful "preliminary evaluator" that optimizes the time of human experts in test development.
📌 3 Key Takeaways
Abstract
The aim of this research is to comparatively examine the expert opinions obtained in the context of content validity during the achievement test development process, from the perspectives of generative artificial intelligence (ChatGPT) and human domain experts. The study adopted a holistic single-case design from qualitative research approaches. A draft achievement test pool of 21 items developed for the "Square Root Expressions" sub-learning area of the 8th grade mathematics course was independently evaluated by 3 human domain experts and ChatGPT (GPT-4o). Fleiss' Kappa (κ), Kendall's Coefficient of Agreement (W), and content analysis were used in the analysis of the data. As a result of the research, a statistically significant level of agreement was found between ChatGPT and human expert decisions (κ = 0.68, W = 0.72, p < .001). Qualitative findings showed that artificial intelligence was extremely successful in detecting scientific errors and learning outcome discrepancies in the items. In contrast, ChatGPT; Because it fails to grasp student anxiety, the psychological pitfalls created by negative question stems, and classroom dynamics, artificial intelligence lags behind experts in pedagogical assessment. Consequently, it is suggested that artificial intelligence can be a powerful "preliminary evaluator" that optimizes the time of human experts in test development.
Özet
Bu araştırmanın amacı, başarı testi geliştirme sürecinde kapsam geçerliği bağlamında alınan uzman görüşlerinin, üretken yapay zekâ (ChatGPT) ve insan alan uzmanları perspektifinden karşılaştırmalı incelenmesidir. Araştırmada nitel araştırma yaklaşımlarından bütüncül tek durum deseni benimsenmiştir. Ortaokul 8. sınıf matematik dersi "Kareköklü İfadeler" alt öğrenme alanına yönelik geliştirilen 21 maddelik taslak başarı testi havuzu; 3 insan alan uzmanı ve ChatGPT (GPT-4o) tarafından bağımsız olarak değerlendirilmiştir. Verilerin analizinde Fleiss' Kappa (κ), Kendall'ın Uyum Katsayısı (W) ve içerik analizi kullanılmıştır. Araştırma sonucunda, ChatGPT ile insan uzman kararları arasında istatistiksel olarak önemli düzeyde uyum saptanmıştır ( κ = 0.68, W = 0.72, p < .001). Nitel bulgular, yapay zekânın maddelerdeki bilimsel hataları ve kazanım uyuşmazlıklarını yakalamada son derece başarılı olduğunu göstermiştir. Buna karşın ChatGPT; öğrenci kaygısını, olumsuz soru köklerinin yaratacağı psikolojik tuzakları ve sınıf içi dinamikleri kavrayamadığından pedagojik değerlendirmede uzmanların gerisinde kalmıştır. Sonuçta yapay zekânın, test geliştirmede insan uzmanların zamanını optimize eden güçlü bir "ön değerlendirici" olabileceği önerilmektedir.