AI Summary & Key Takeaways
AI InsightResults showed that 77.8% of the studies did not include an explicit definition of the population under interest, and in 50.9% of the studies, the sampling method was either not clear or reported to be convenience sampling.
📌 3 Key Takeaways
Abstract
In quantitative research, an attempt to reproduce previously reported results requires at least a transparent definition of the population, sampling method, and the analyses procedures used in the prior studies. Focusing on the articles published between 2010 and 2017 by the four prestigious educational research journals in Turkey, this study aimed to investigate the reproducibility of the factor analysis results from a theoretical perspective. A total of 275 articles were subject to descriptive content analysis. Results showed that 77.8% of the studies did not include an explicit definition of the population under interest, and in 50.9% of the studies, the sampling method was either not clear or reported to be convenience sampling. Moreover, information about the missing data or a missing data dealing technique was absent in the 76% of the articles. Approximately, half of the studies were found to have inadequate model fit. Furthermore, in almost all studies, it could not be determined whether the item types (i.e., levels of measurement scales) were taken into consideration during the analyses. In conclusion, the majority of the investigated factor analysis results were evaluated to be non-reproducible in practice.
Özet
Akademik çalışmalarda istatistiksel çıkarımlarla erişilen sonuçları tekrar edebilmek; evrenin, örnekleme yönteminin ve çözümleme süreçlerinin şeffaf olarak tanımlanmaması durumunda mümkün değildir. Bu çalışmada Türkiye’de eğitim araştırmalarında saygın olarak kabul edilen dört dergide 2010-2017 yılları arasında yayınlanmış makalelerde yer alan faktör analizleri, sonuçlarının tekrarlanabilirliği açısından incelenmiştir. Toplamda 275 makalenin betimsel içerik analizi yapılmıştır. Çalışmaların %77.8’inde evren tanımının açıkça yapılmadığı, %50.9’unda örnekleme yönteminin belirtilmediği veya uygun örneklem kullanıldığı, %76’sında kayıp verilerden bahsedilmediği görülmüştür. Model-veri uyumu açısından çalışmaların yaklaşık yarısının eleştirilebilir olduğu değerlendirilmiştir. Araştırmalarda verilerin yapısının (sürekli/kategorik) dikkate alınıp alınmadığı da tespit edilememiştir. İncelenen çalışmalarda raporlanan sonuçları tekrar edilebilmenin büyük oranda mümkün olmayacağı değerlendirilmiştir.