Journals / Uludağ Üniversitesi Eğitim Fakültesi Dergisi / 2026 / Cilt: 38 Sayı: 2

Determining the Role of Artificial Intelligence-Supported Applications in Reliability of Measurement Activities: Awareness and Precautions

Ölçme Faaliyetlerinin Güvenirliğine Yönelik Yapay Zeka Destekli Uygulamaların Rolünün Belirlenmesi: Farkındalıklar ve Önlemler

Servet Kılıç(ORDU ÜNİVERSİTESİ)0000-0002-1687-3231
Pages
312–330
Publication Date
2025-08-26
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

The current study further discusses the influence of these measurement methods and precautions on increasing the reliability of measurement results.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:This study aims to explore the role of artificial intelligence (AI)-supported applications in enhancing the reliability of online or face-to-face measurement activities.
📊
Key Findings & Data:Using a case study design, a qualitative research method, the study gathered the opinions of 48 educators from various disciplines in schools affiliated with the Ministry of National Education and Higher Education.
💡
Conclusion & Impact:The current study further discusses the influence of these measurement methods and precautions on increasing the reliability of measurement results.
🔬Design:Araştırma Makalesi
📍Scope:Comprehensive Sample
⚙️Variables:Yapay zeka · Ölçme güvenirliği · ChatGPT

Abstract

This study aims to explore the role of artificial intelligence (AI)-supported applications in enhancing the reliability of online or face-to-face measurement activities. Using a case study design, a qualitative research method, the study gathered the opinions of 48 educators from various disciplines in schools affiliated with the Ministry of National Education and Higher Education. Data were collected using a semi-structured interview form consisting of four open-ended questions. The data were analyzed with the content analysis method and the Cohen’s kappa reliability coefficient was determined as k = .78, p < .05. The results revealed that nearly half of the educators were aware of AI-supported applications (such as ChatGPT, Bing, Copilot, etc.) and that some students used these applications to answer questions or prepare homework during the measurement process. In this context, the study identified various precautions that can be implemented to increase the reliability of online or face-to-face measurement activities. These precautions included conducting exams in person whenever possible, using interpretative questions, limiting exam durations, and focusing on practical exams. Additionally, educators can take steps such as recording screens during exams, capturing live images with cameras, and monitoring opened tabs to reduce the impact of AI-supported tools. The current study further discusses the influence of these measurement methods and precautions on increasing the reliability of measurement results.

Özet

Bu çalışmanın amacı, çevrimiçi veya yüz yüze yapılan ölçme faaliyetlerinin güvenirliğine yönelik yapay zeka (YZ) destekli uygulamaların rolünün belirlenmesidir. Nitel araştırma yöntemleri arasında yer alan durum çalışması deseni kullanılan çalışma kapsamında, Yükseköğretim’e ve Milli Eğitim Bakanlığı’na bağlı okullarda farklı branşlarda görev yapan 48 eğitimcinin görüşleri alınmıştır. Veri toplama aracı olarak açık uçlu dört sorudan oluşan yarı yapılandırılmış görüşme formu kullanılmıştır. Veriler içerik analizi yöntemiyle analiz edilmiş ve Cohen’s kappa güvenirlik katsayısı k = .78, p < .05 olarak belirlenmiştir. Çalışma sonuçlarına göre, eğitimcilerin neredeyse yarısının YZ destekli uygulamaların (ChatGPT, Bing, Copilot vb.) farkında olduğu ve ölçme sürecinde bazı öğrencilerin soruları cevaplamak veya ödevleri hazırlamak amacıyla bu uygulamalardan yararlandığı ortaya konulmuştur. Bu kapsamda çevrimiçi veya yüze yüze yapılan ölçme faaliyetlerinin güvenirliğini artırmaya yönelik eğitimciye ve yazılıma bağlı olarak alınabilecek önlemler belirtilmiştir. Sınavların olabildiğince yüz yüze gerçekleştirilmesi, yoruma dayalı soruların kullanılması, sınav süresinin kısıtlanması ve uygulamaya dayalı sınavların yapılması eğitimcinin alabileceği önlemler arasındadır. Sınav esnasında ekran kaydının tutulması, kamera ile canlı görüntünün alınması ve açılan sekmelerin kontrol edilmesi yazılıma bağlı olarak alınabilecek önlemler arasındadır. Eğitimcilerin benimsedikleri ölçme yöntemlerinin ve belirttikleri önlemlerin ölçme sonuçlarının güvenirliğini artırmaya yönelik etkileri tartışılmıştır.

🔖

Cite This Article

Kılıç, S. (2025). Determining the Role of Artificial Intelligence-Supported Applications in Reliability of Measurement Activities: Awareness and Precautions. Uludağ Üniversitesi Eğitim Fakültesi Dergisi, Cilt: 38 Sayı: 2, 312–330. https://doi.org/10.19171/uefad.1565847

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (30)

  1. Aşık, F., Yıldız, A., Kılınç, S., Aytekin, N., Adalı, R. & Kurnaz, K. (2023). The impact of artificial intelligence on education. International Journal of Social and Humanities Sciences Research (JSHSR), 10(98), 2100–2107. https://doi.org/10.5281/zenodo.8307107
  2. Baran, H. (2020). Açık ve uzaktan eğitimde ölçme ve değerlendirme. [Measurement and evaluation in open and distance education]. Açıköğretim Uygulamaları ve Araştırmaları Dergisi (AUAd), 6(1), 28-40. https://dergipark.org.tr/en/pub/auad/issue/55639/761239
  3. Bordt, S., & Luxburg, V. U. (2023). ChatGPT participates in a computer science exam. ArXiv preprint arXiv:2303.09461. https://doi.org/10.48550/arXiv.2303.09461
  4. Borich, G. D. (2013). Effective teaching methods (8th ed.). Merrill.
  5. Choi, J. H., Hickman, K. E., Monahan, A. B., & Schwarcz, D. (2021). ChatGPT goes to law school. J. Legal Educ., 71, 387.
  6. Chassignol, M., Khoroshavin, A., Klimova, A., & Bilyatdinova, A. (2018). Artificial intelligence trends in education: A narrative overview. Procedia Computer Science, 136, 16-24. https://doi.org/10.1016/j.procs.2018.08.233
  7. Chen, C. M., Wang, J. Y., & Hsu, L. C. (2021). An interactive test dashboard with diagnosis and feedback mechanisms to facilitate learning performance. Computers and Education: Artificial Intelligence, 2, 100015-100024. https://doi.org/10.1016/j.caeai.2021.100015
  8. Creswell, J. W., & Poth, C. N. (2016). Qualitative inquiry and research design: Choosing among five approaches. Sage publications.
  9. Çam, M. B., Çelik, N. C., Güntepe, E. T., & Durukan, Ü. G. (2021). Öğretmen adaylarının yapay zekâ teknolojileri ile ilgili farkındalıklarının belirlenmesi. [Determining teacher candidates’ awareness of artificial intelligence technologies]. Mustafa Kemal University Journal of Social Sciences Institute, 18(48), 263-285. https://dergipark.org.tr/en/download/article-file/1764677
  10. Göksel, Ş., & Adıgüzel, A. (2024). Hibrit öğrenme modeli üzerine bir meta sentez çalışması: Uluslararası örnekler. [A meta-synthesis study on hybrid learning model: International examples]. Milli Eğitim Dergisi, 53(243), 1655-1698. https://doi.org/10.37669/milliegitim.1252931
  11. Göktaş, L. S. (2023). ChatGPT uzaktan eğitim sınavlarında başarılı olabilir mi? Turizm alanında doğruluk ve doğrulama üzerine bir araştırma. [Can ChatGPT succeed in distance education exams? A research on accuracy and verification in tourism]. Journal of Tourism & Gastronomy Studies, 11(2), 892-905. https://doi. org/10.21325/jotags.2023.1224
  12. Hillier, M. (2014). The very idea of e-Exams: Student (pre) conceptions. In B. Hegarty, J. McDonald, & S.-K. Lok (Eds.), Rhetoric and Reality: Critical perspectives on educational technology. Proceedings of the Australasian Society for Computers in Learning in Tertiary Education (pp. 77-88). Ascilite. https://ascilite.org/conferences/dunedin2014/files/fullpapers/91-Hillier.pdf
  13. Jung, I. S. (2005). Quality assurance survey of mega universities. Perspectives on Distance Education: Lifelong learning and distance higher education (Ed: C. McIntosh). Vancouver, BC: Commonwealth of Learning & Paris: UNESCO, pp. 79-96. http://oasis.col.org/bitstream/handle/11599/70/PSeries_LLLDHE.pdf?sequence=1#page=89
  14. Kasneci, E., Seßler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F.,. & Kasneci, G. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 103, 102274. https://doi.org/10.1016/j.lindif.2023.102274
  15. Kılıç, (2021). Uzaktan eğitimde yapılan ölçme faaliyetlerine yönelik kaygılar ve çözüm önerileri: Ordu Üniversitesi örneği. ERPA International Congresses on Education. (P. 553-558). Sakarya, Türkiye.
  16. King, C. G., Guyette Jr, R. W., & Piotrowski, C. (2009). Online exams and cheating: An empirical analysis of business students' views. Journal of Educators Online, 6(1), n1. https://files.eric.ed.gov/fulltext/EJ904058.pdf
  17. Koçak, A., & Arun, Ö. (2006). İçerik analizi çalışmalarında örneklem sorunu. [The sampling problem in content analysis studies]. Journal of Selcuk Communication, 4(3), 21-28. https://dergipark.org.tr/en/download/article-file/177956
  18. Kolomuç, A., & Çelik, S. A. (2021). Covid-19 döneminde yapılan online sınavlarda test bitirme süresi ile test başarısı arasındaki ilişkinin incelenmesi. [Investigation of the relationship between test completion time and test success in online exams during the covid-19 period]. Journal of Academic Social Science Studies, 14(88),1-12. https://doi.org/10.29228/JASSS.53941
  19. Kong, S. C., Cheung, W. M. Y., & Zhang, G. (2021). Evaluation of an artificial intelligence literacy course for university students with diverse study backgrounds. Computers and Education: Artificial Intelligence, 2, 100026. https://doi.org/10.1016/j.caeai.2021.100026
  20. Kumaş, A. (2023). Fen bilimleri derslerinde hibrit eğitim kapsamında aktif öğrenme aracı olarak teknolojinin kullanımı. [The use of technology as an active learning tool in the scope of hybrid education in science courses]. Trakya Journal of Education, 13(2), 943-961. https://doi.org/10.24315/tred.1100907
  21. Mathew, A. T., & Mani, P. (2023). Strength of Deep learning-based solutions to secure healthcare IoT: A critical review. The Open Biomedical Engineering Journal, 17(1). https://doi.org/10.2174/18741207-v17-e230505-2022-HT28-4371-2
  22. MoNE (2021). Açık öğretim kurumları 2020-2021 eğitim öğretim yılı 2. dönem online (çevrim içi) sınavları duyurusu. Date of Access: 1.11.2024. http://aol.meb.gov.tr/meb_iys_dosyalar/2021_03/19151858_AOYK_2020-2021_EgYitim-OYgYretim_YYlY_2._DoYnem_OnlineCYevrim_IYcYi_SYnavlarY_Duyurusu_.pdf
  23. Ng, D. T. K., Leung, J. K. L., Chu, S. K. W., & Qiao, M. S. (2021). Conceptualizing AI literacy: An exploratory review. Computers and Education: Artificial Intelligence, 2, 100041-100051. https://doi.org/10.1016/j.caeai.2021.100041
  24. OpenAI, (2023). Introducing ChatGPT. Date of Access: 1.11.2024. https://openai.com/blog/chatgpt.
  25. Patton, E., & Appelbaum, S. H. (2003). The case for case studies in management research. Management Research News, 26(5), 60-71. https://doi.org/10.1108/01409170310783484
  26. Pekmez, S., Çoban, T. C., Kılıç, M., & Duman, Y. M. (2024). Eğitimde yapay zeka teknolojilerinin kullanımına yönelik öğretmen görüşleri. [Teachers' views on the use of artificial intelligence technologies in education]. Ulusal Eğitim Dergisi, 4(2), 601-619.
  27. Popenici, S. A., & Kerr, S. (2017). Exploring the impact of artificial intelligence on teaching and learning in higher education. Research and Practice in Technology Enhanced Learning, 12(1), 22. https://link.springer.com/article/10.1186/s41039-017-0062-8
  28. Rahman, M. M., & Watanobe, Y. (2023). ChatGPT for education and research: Opportunities, threats, and strategies. Applied Sciences, 13(9), 5783. https://doi.org/10.3390/app13095783
  29. Selçuk, Z., Palancı, M., Kandemir, M., & Dündar, H. (2014). Eğitim ve bilim dergisinde yayınlanan araştırmaların eğilimleri: İçerik analizi. [Tendencies of the researches published in education and science journal: content analysis]. Education and Science, 39(173), 430-453.
  30. Kasneci, E., Seßler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F.,. & Kasneci, G. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 103, 102274. https://doi.org/10.1016/j.lindif.2023.102274