AI Summary & Key Takeaways
AI InsightAccording to this result, it may be recommended to get opinions from measurement and evaluation specialists in scale development studies and to give instructions detailly.
📌 3 Key Takeaways
Abstract
The purpose of this research is to analyse the scales developed in the field of educational science and psychology according to the standards for educational and psychological testing of AERA, APA and NCME. Between 2010 and 2021, 50 theses constitute the sample of the research. A rating scale prepared according to the standards published by AERA, APA and NCME was used to anaylse theses. The rating scale consists of 27 items and three main headings. Content analysis method was used in the study. According to findings, it was determined that in the majority of theses the structure or domain to be measured, the examinee population, the purpose of the scale and the reasons for its development, the procedures used to develop and review the items, information that items tried out, the procedures used to select items from the item pool, expert review, the information about the sample’s representativeness of the population, the directions for test administration, reliability and validity properties, and the purpose of the test were defined adequately. It has been determined that no information is given about documenting the model used for evaluating the psychometric properties of items and extent to which the content domain of a test represents the domain. According to this result, it may be recommended to get opinions from measurement and evaluation specialists in scale development studies and to give instructions detailly.
Özet
Bu araştırmanın amacı eğitim bilimleri ve psikoloji alanında geliştirilmiş ölçeklerin ölçek geliştirme süreçlerinin AERA, APA ve NCME tarafından yayınlanan ölçek geliştirme standartlarına göre uygunluğunun incelenmesidir. 2010 ile 2021 yılları arasında Türkiye’de eğitim bilimleri ve psikoloji alanında yayınlanan 50 yüksek lisans ve doktora tezi araştırmanın örneklemini oluşturmaktadır. Tezlerin incelenmesinde AERA, APA ve NCME tarafından yayınlanan standartlara göre hazırlanmış dereceleme ölçeği kullanılmıştır. Dereceleme ölçeği “Ölçek Yönergesi Standartları”, “Madde Geliştirme ve Gözden Geçirme Standartları” ve “Ölçek Uygulama, Puanlama Prosedürü ve Materyallerin Standartları” olmak üzere üç ana başlıktan ve 27 maddeden oluşmaktadır. Çalışmada içerik analizi yöntemi kullanılmıştır. Elde edilen veriler doğrultusunda incelenen tezlerin büyük çoğunluğunda ölçülmek istenen yapı veya alan, araştırma evreni, ölçeğin kullanım amacı ve geliştirme gerekçeleri, maddelerin geliştirilme ve gözden geçirilme aşaması, ön deneme uygulamasının yapıldığı, madde havuzundan nasıl madde seçildiği, uzman görüşleri, örneklem özellikleri, yönergelerin yeterli açıklıkta sunulduğu, güvenirlik ve geçerlik kanıtlarının verildiği, ölçeğin ne amaçla kullanılacağı uygun bir şekilde verildiği belirlenmiştir. Ölçek geliştirme sürecinde kullanılan kuram ve ölçeğin içeriğinin yönergede tanımlanan alanı ne ölçüde temsil ettiği hakkında neredeyse hiç bir bilgiye verilmediği belirlenmiştir. Buna göre ölçek geliştirme çalışmalarında ölçme ve değerlendirme uzmanlarından görüş alınması ve yönergelerin ayrıntılı bir şekilde verilmesi önerilebilir.