SavedAdd your journal

Journals / Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi / 2026 / Cilt: 26 Sayı: 3

The Quality of Comprehension Questions in Turkish Textbooks within the PIRLS Framework: Humans and Artificial Intelligence

PIRLS Çerçevesinde Türkçe Ders Kitabındaki Anlama Sorularının Niteliği: İnsan ve Yapay Zekâ

Mehmet Can
İsmail Yaşartürk
Halil İbrahim Öksüz
Pages
1811–1826
Publication Date
2026-09-30
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

When examining the percentages, it can be concluded that artificial intelligence can be trusted to classify reading comprehension questions based on the evaluation made by researchers and artificial intelligence.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:The study aims to comparatively examine comprehension questions in the fourth-grade Turkish textbook according to the PIRLS taxonomy, based on evaluations conducted by artificial intelligence and researchers.
📊
Key Findings & Data:When examining the classifications made by both researchers (76.97%) and artificial intelligence (76.40%), it is seen that a significant portion of the reading comprehension questions in the fourth-grade Turkish textbook fall into the category of finding explicitly stated information at a basic comprehension level and making direct inferences.
💡
Conclusion & Impact:When examining the percentages, it can be concluded that artificial intelligence can be trusted to classify reading comprehension questions based on the evaluation made by researchers and artificial intelligence.
🔬Design:Araştırma Makalesi
📍Scope:Comprehensive Sample
⚙️Variables:PIRLS · okuduğunu anlama · yapay zekâ

Abstract

The study aims to comparatively examine comprehension questions in the fourth-grade Turkish textbook according to the PIRLS taxonomy, based on evaluations conducted by artificial intelligence and researchers. Thus, the study determines the quality of the questions in the textbook and presents alternative perspectives on the use of artificial intelligence in the educational assessment process. This study, which is a descriptive document analysis, utilised the Fourth Grade Turkish Textbook prepared by the Ministry of National Education. The questions were classified based on the levels included in the PIRLS exam. Within this framework, the questions are classified into four basic levels. When examining the classifications made by both researchers (76.97%) and artificial intelligence (76.40%), it is seen that a significant portion of the reading comprehension questions in the fourth-grade Turkish textbook fall into the category of finding explicitly stated information at a basic comprehension level and making direct inferences. In contrast, 23.03% of the 178 comprehension questions classified by researchers and 23.60% of the 178 comprehension questions classified by artificial intelligence are high-level comprehension questions consisting of the categories ‘synthesising and interpreting information’ and ‘criticising and evaluating the content of the text’. When examining the percentages, it can be concluded that artificial intelligence can be trusted to classify reading comprehension questions based on the evaluation made by researchers and artificial intelligence.

Özet

Araştırmanın amacı, ilkokul dördüncü sınıf Türkçe ders kitabında yer alan anlama sorularını PIRLS taksonomisine göre yapay zekâ ve araştırmacı tarafından yapılan değerlendirmeler doğrultusunda karşılaştırmalı olarak incelemektir. Bu doğrultuda ders kitabındaki soruların niteliğinin belirlenmesi ve yapay zekânın eğitimde değerlendirme süreçlerinde kullanımına yönelik alternatif bakış açılarının sunulması hedeflenmektedir. Bu çalışmada, betimsel doküman analizi yöntemi kullanılmış ve veri kaynağı olarak Millî Eğitim Bakanlığı tarafından hazırlanan dördüncü sınıf Türkçe ders kitabı esas alınmıştır. İncelenen sorular, PIRLS değerlendirme çerçevesinde yer alan dört temel düzey dikkate alınarak sınıflandırılmıştır. Gerek araştırmacılar tarafından (%76,97) gerekse yapay zekâ tarafından (%76,40) yapılan sınıflandırmalar incelendiğinde, dördüncü sınıf Türkçe ders kitabında yer alan okuduğunu anlama sorularının büyük çoğunluğunun, basit anlama düzeyindeki “açıkça belirtilen bilgileri bulma” ve “doğrudan çıkarımlar yapma” kategorilerinde yer aldığı görülmektedir. Diğer yandan araştırmacılar tarafından yapılan sınıflandırmada 178 anlama sorusunun %23,03’ünün, yapay zekâ tarafından yapılan sınıflandırmada ise 178 anlama sorusunun %23,60’ının “bilgileri sentezleme ve yorumlama” ile “metnin içeriğini eleştirme ve değerlendirme” kategorilerinden oluşan üst düzey anlama soruları olduğu görülmektedir. Elde edilen oransal dağılımlar incelendiğinde; araştırmacı ve yapay zekâ değerlendirmelerinin tutarlılık gösterdiği, bu bağlamda yapay zekânın okuduğunu anlama sorularını sınıflandırma aşamasında araştırmacılara kolaylık sağlayabileceği düşünülmektedir.

🔖

Cite This Article

Can, M., Yaşartürk, İ., Öksüz, H. İ. (2026). The Quality of Comprehension Questions in Turkish Textbooks within the PIRLS Framework: Humans and Artificial Intelligence. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, Cilt: 26 Sayı: 3, 1811–1826. https://doi.org/10.17240/aibuefd.2026..-1912386

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (47)

  1. Açıkel, K. S., & Gök, G. B. (2024). İlkokul 4. sınıf Türkçe ders kitabındaki metinlerin PIRLS değerlendirme çerçevesi ve yaratıcı okuma aşamalarına göre incelenmesi. RumeliDE Dil ve Edebiyat Araştırmaları Dergisi, (1), 1–25.
  2. Afflerbach, P. (2025). Understanding and using reading assessment, K–12 (3rd ed.). International Literacy Association.
  3. Afflerbach, P., Pearson, P. D., & Paris, S. G. (2008). Clarifying differences between reading skills and reading strategies. The Reading Teacher, 61(5), 364–373. https://doi.org/10.1598/RT.61.5.1
  4. Akyol, H. (2019). Programa uygun Türkçe öğretim yöntemleri (9 bs.). Pegem Akademi.
  5. Arrington, C. N., Kulesz, P. A., Francis, D. J., Fletcher, J. M. ve Barnes, M. A. (2014). The contribution of attentional control and working memory to reading comprehension and decoding. Scientific Studies of Reading, 18(5), 325–346. https://doi.org/10.1080/10888438.2014.902461
  6. Aydın, M., & Uçgun, D. (2020). Ortaokul Türkçe dersi sınav sorularının programdaki kazanımlara göre incelenmesi. Ana Dili Eğitimi Dergisi, 8(2), 343–356. https://doi.org/10.16916/aded.678478
  7. Benzer, A. (2019). Türkçe ders kitaplarının PISA okuma yeterlik düzeyleri ile imtihanı. Okuma Yazma Eğitimi Araştırmaları, 7(2), 96-109. https://doi.org/10.35233/oyea.659740
  8. Bircan, N. B. (2024). Uluslararası okuma becerilerinde gelişim araştırması (PIRLS) 2021 Türkiye verisinin bilişsel tanı modellemesi ile analizi (Yüksek lisans tezi). [Harran Üniversitesi] Erişim No: 894092.
  9. Bowen, G. A. (2009). Document analysis as a qualitative research method. Qualitative Research Journal, 9(2), 27–40. https://doi.org/10.3316/QRJ0902027
  10. Van den Broek, P., ve Espin, C. A. (2012). Connecting cognitive theory and assessment: Measuring individual differences in reading comprehension. School Psychology Review, 41(3), 315-325.
  11. Cain, K., & Oakhill, J. (2006). Profiles of children with specific reading comprehension difficulties. The British Journal of Educational Psychology, 76(4), 683–696. https://doi.org/10.1348/000709905X67610
  12. Can, M., & Yıldız, M. (2023). Sınıf öğretmenlerinin Türkçe derslerinde sordukları soruların incelenmesi. Okuma Yazma Eğitimi Araştırmaları, 11(2), 95–109. https://doi.org/10.35233/oyea.1310337
  13. Can, M., & Yıldız, M. (2025). Soru-cevap ilişkisi stratejisi öğretiminin dördüncü sınıf öğrencilerinin okuduğunu anlama ve soru sorma düzeylerine etkisi. Ana Dili Eğitimi Dergisi, 13(1), 31–50. https://doi.org/10.16916/aded.1531901
  14. Chiu, T. K. F. (2024). The impact of Generative AI (GenAI) on practices, policies and research direction in education: A case of ChatGPT and Midjourney. Interactive Learning Environments, 32(10), 6187–6203. https://doi.org/10.1080/10494820.2023.2253861
  15. Corbin, J., & Strauss, A. (2008). Basics of qualitative research: Techniques and procedures for developing grounded theory (3rd ed.). Sage. https://doi.org/10.4135/9781452230153
  16. Çiftçi, Ö., ve Temizyürek, F. (2008). İlköğretim 5. sınıf öğrencilerinin okuduğunu anlama becerilerinin ölçülmesi. Mustafa Kemal Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 5(9), 109-129.
  17. Duran Baytar, S., & Çevik, N. (2024). 4. sınıf öğrencilerinin basit anlama ve çıkarımsal anlama sorularına verdikleri cevapların incelenmesi. Trakya Eğitim Dergisi, 14(2), 1319–1331. https://doi.org/10.24315/tred.1465333
  18. Epçaçan, C. (2018). Okuma ve anlama becerilerinin öğretim sürecine etkisi üzerine bir değerlendirme. Electronic Turkish Studies, 13(19), 615–630. http://dx.doi.org/10.7827/TurkishStudies.14123
  19. Epçaçan, C., & Erzen, M. (2010). Okuduğunu anlama becerileri ölçeği geçerlik ve güvenirlik çalışması. Milli Eğitim, 185, 22–32.
  20. Garcia, J. R., ve Cain, K. (2014). Decoding and reading comprehension: A meta-analysis to identify which reader and assessment characteristics influence the strength of the relationship in English. Review of Educational Research, 54(1), 74-111. https://doi.org/10.3102/0034654313499616
  21. Giannakos, M., Azevedo, R., Brusilovsky, P., Cukurova, M., Dimitriadis, Y., Hernandez-Leo, D.,. Rienties, B. (2025). The promise and challenges of generative AI in education. Behaviour & Information Technology, 44(11), 2518–2544 https://doi.org/10.1080/0144929X.2024.2394886
  22. Güven, M., & Yaşartürk, İ. (2025). Sınıf Öğretmenlerinin Okuduğunu Anlamayı Ölçmede Kullandıkları Soruların Yenilenmiş Bloom Taksonomisine Göre İncelenmesi. Ahi Evran Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 11(1), 280–294. https://doi.org/10.31592/aeusbed.1547816
  23. Hennessy, N. (2021). The reading comprehension blueprint: the why, what, and how of reading comprehension instruction. Brookes Publishing.
  24. Hernández-Torrano, D., & Courtney, M. G. (2021). Modern international large-scale assessment in education: An integrative review and mapping of the literature. Large-Scale Assessments in Education, 9(17), 1–33. https://doi.org/10.1186/s40536-021-00109-1
  25. Jendia, J., & Ismail, H. H. (2023). Developing personalized reading materials for Malaysian primary school pupils using ChatGPT: A review. International Journal of Academic Research in Business and Social Sciences, 13(12), 3174–3189. https://doi.org/10.6007/ijarbss/v13-i12/20172
  26. Kanık Uysal, P., Akın Arıkan, Ç., Acar Erdol, T., Bayrak Özmutlu, E., & Akyol, H. (2022). Türkçe dersi sınav sorularının özgünlük, madde türü, madde yazma ölçütleri ve bilişsel düzey açısından incelenmesi. Eğitim ve Bilim, 7(4), 349–361. https://doi.org/10.5281/zenodo.7394230
  27. Kim, Y. S., Otaiba, S. A., Sidler, J. F. ve Gruelich, L. (2013). Language, literacy, attentional behaviors, and instructional quality predictors of written composition for first graders. Early Childhood Research Quarterly, 28(3), 461–469. https://doi.org/10.1016/j.ecresq.2013.01.001
  28. Kurudayıoğlu, M. (2011). Zihinsel ve fiziksel bir süreç olarak okuma. Gazi Eğitim Fakültesi Dergisi, 31(1), 15–29.
  29. Li, Y., Zhou, X., Yin, H. b., & Chiu, T. K. F. (2025). Design language learning with artificial intelligence (AI) chatbots based on activity theory from a systematic review. Smart Learning Environments, 12, 24. https://doi.org/10.1186/s40561-025-00379-0
  30. McHugh, M. L. (2012). Interrater reliability: The kappa statistic. Biochemia Medica, 22(3), 276–282. https://doi.org/10.11613/BM.2012.031
  31. Miles, M. B., Huberman, A. M., & Saldaña, J. (2014). Qualitative data analysis: A methods sourcebook (3rd ed.). Sage.
  32. Mullis, I. V. S., von Davier, M., Foy, P., Fishbein, B., Reynolds, K. A., & Wry, E. (2023). PIRLS 2021 international results in reading. TIMSS & PIRLS International Study Center, Boston College. https://doi.org/10.6017/lse.tpisc.tr2103.kb5342
  33. Mullis, I. V. S., & Martin, M. O. (2019). PIRLS 2021 assessment frameworks. International Association for the Evaluation of Educational Achievement (IEA).
  34. OECD. (2025). Directorate for Education and Skills. OECD. Erişim adresi: https://www.oecd.org/en/about/directorates/directorate-for-education-and-skills.html
  35. Öksüz, H. İ., & Keskin, H. K. (2022). A study on the impact of readability on comprehensibility. International Journal of Progressive Education, 18(1), 322–335. https://doi.org/10.29329/ijpe.2022.426.18
  36. Öksüz, H. İ., Elalmış, S., Yaşartürk, İ., & Akyol, H. (2024). The effect of cultural schemas on reading comprehension and listening comprehension. Çukurova Üniversitesi Eğitim Fakültesi Dergisi, 53(3), 1333-1353. https://doi.org/10.14812/cuefd.1469469
  37. Öksüz, H. İ., Yaşartürk, İ., Yıldız, M., Yazıcı Arıcı, E., Sotiropoulos, D., & Kalogiannakis, M. (2025). Sustained attention as a cognitive bridge between memory and reading comprehension in primary school students. Reading Psychology, 1–28. https://doi.org/10.1080/02702711.2025.2566025
  38. Perfetti, C. A., & Stafura, J. Z. (2014). Word knowledge in a theory of reading comprehension. Scientific Studies of Reading, 18(1), 22–37. https://doi.org/10.1080/10888438.2013.827687
  39. PIRLS. (2021). Relative achievement in processes. PIRLS 2021 Results. Erişim adresi: https://pirls2021.org/results/relative-achievement/processes
  40. Rose, D. S., Parks, M., Androes, K., & McMahon, S. D. (2000). Imagery-based learning: Improving elementary students' reading comprehension with drama techniques. The Journal of Educational Research, 94(1), 55-63. https://doi.org/10.1080/00220670009598742
  41. Shrivastava, A., Suji Prasad, S. J., Yeruva, A. R., Mani, P., Nagpal, P., & Chaturvedi, A. (2023). IoT based RFID attendance monitoring system of students using arduino ESP8266 & Adafruit.io on defined area. Cybernetics and Systems, 56(1), 21–32. https://doi.org/10.1080/01969722.2023.2166243
  42. Snow, C. E. (2002). Reading for understanding: Toward an R&D program in reading comprehension. RAND Corporation. https://www.rand.org/pubs/monograph_reports/MR1465.html
  43. Sönmez, M., Öksüz, H. İ., Gök, S., & Yıldırım, K. (2026). Chatgpt- generated versus teacher- prepared read- aloud plans: A comparative effectiveness study. European Journal of Education, 61, e70458. https://doi.org/10.1111/ejed.70458
  44. TIMSS. (2023). International Results – TIMSS 2023. TIMSS & PIRLS International Study Center. Erişim adresi: https://timss2023.org/results/
  45. Yan, X., & Kim, J. (2023). The effects of schema strategy training using digital mind mapping on reading comprehension: A case study of Chinese university students in EFL context. Cogent Education, 10(1), 1–20. https://doi.org/10.1080/2331186X.2022.2163139
  46. Yaşartürk, İ., Öksüz, H. İ., & Öztürk, M. (2025, Mayıs). The mediation effect of sustained attention on reading comprehension and reading fluency at primary school level. Tam metin bildiri sunumu, International Congress on Multidisciplinary Social Sciences (ICMUSS-2025).
  47. Yekeler Gökmen, A. D. ve Aktaş, N. (2021). İlkokul öğrencilerinin farklı metin türlerine yönelik soru sorma becerileri. Ana Dili Eğitimi Dergisi, 9(3), 726–739.