SavedAdd your journal

Journals / Kurgu / 2026 / Cilt: 34 Sayı: 2

Can Artificial Intelligence Verify Digital Content? A Comparative Analysis of Large Language Models and Fact-Checking Platforms in Türkiye

Yapay Zekâ Dijital İçeriği Doğrulayabilir mi? Büyük Dil Modellerinin Türkiye’deki Doğrulama Platformlarıyla Karşılaştırmalı Analizi

Erkan Yüksel(ANADOLU ÜNİVERSİTESİ, İLETİŞİM BİLİMLERİ FAKÜLTESİ)0000-0003-2487-3589
Ekmel Kılıç(ANADOLU UNIVERSITY)0000-0001-5663-4625
Zeynep Ayna(ANADOLU UNIVERSITY)0009-0007-1632-8384
Barış Göksel(TRABZON UNIVERSITY)0009-0000-2132-5195
Journal
Kurgu
Pages
67–88
Publication Date
2026-09-30
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

The findings show that the models achieved an overall agreement rate of 81.6% with the decisions of the fact-checking platforms.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:This study comparatively examines the performance of artificial intelligence systems based on large language models in content verification processes by comparing their outputs with the decisions of fact-checking platforms in Türkiye.
📊
Key Findings & Data:The study adopts a descriptive-comparative research design combining quantitative content analysis and qualitative assessment, and analyzes a dataset consisting of 45 verified content items.
💡
Conclusion & Impact:The findings show that the models achieved an overall agreement rate of 81.6% with the decisions of the fact-checking platforms.
🔬Design:Modeling & Simulation
📍Scope:Comprehensive Sample
⚙️Variables:Yapay zekâ · içerik doğrulama · dezenformasyon

Abstract

This study comparatively examines the performance of artificial intelligence systems based on large language models in content verification processes by comparing their outputs with the decisions of fact-checking platforms in Türkiye. Within the scope of the research, the verification results produced by ChatGPT, Gemini, Grok, and DeepSeek for news-text, photo-visual, and video content were compared with the verification decisions published by Teyit.org, Doğruluk Payı, and Malûmatfüruş. The study adopts a descriptive-comparative research design combining quantitative content analysis and qualitative assessment, and analyzes a dataset consisting of 45 verified content items. Each claim was presented to the artificial intelligence models through a three-stage prompting system; of the 540 possible model outputs, 516 valid and assessable outputs were included in the analysis. The findings show that the models achieved an overall agreement rate of 81.6% with the decisions of the fact-checking platforms. The highest agreement was observed in video content (87.2%), followed by photo-visual content (82.8%) and news-text content (75.6%). However, the agreement rate in the video category should be interpreted only on the basis of assessable outputs. The study concludes that artificial intelligence models should not be regarded as stand-alone authorities of truth, but as auxiliary tools that support human expertise.

Özet

Bu çalışma, büyük dil modellerine dayalı yapay zekâ sistemlerinin içerik doğrulama süreçlerindeki performansını Türkiye’deki doğrulama platformlarının kararlarıyla karşılaştırmalı olarak incelemektedir. Araştırma kapsamında ChatGPT, Gemini, Grok ve DeepSeek modellerinin haber metni, fotoğraf-görsel ve video içeriklerinde ürettiği doğrulama sonuçları; Teyit.org, Doğruluk Payı ve Malûmatfüruş platformlarının yayımladığı doğrulama kararlarıyla karşılaştırılmıştır. Çalışmada nicel içerik analizi ve nitel değerlendirmeyi birlikte kullanan betimsel-karşılaştırmalı bir araştırma tasarımı benimsenmiş; 45 doğrulama içeriğinden oluşan veri seti analiz edilmiştir. Her iddia yapay zekâ modellerine üç aşamalı bir komut sistemiyle yöneltilmiş; toplam 540 olası model çıktısının 516’sı geçerli ve değerlendirilebilir çıktı olarak analize alınmıştır. Bulgular, modellerin doğrulama platformlarının kararlarıyla genel olarak %81,6 oranında uyum gösterdiğini ortaya koymuştur. En yüksek uyum video içeriklerde (%87,2), ardından fotoğraf-görsel (%82,8) ve haber metni içeriklerinde (%75,6) görülmüştür. Ancak video kategorisindeki oran yalnızca değerlendirilebilir çıktılar üzerinden yorumlanmalıdır. Sonuç olarak yapay zekâ modelleri tek başına doğruluk otoritesi değil, insan uzmanlığını destekleyen yardımcı araçlar olarak değerlendirilmelidir.

🔖

Cite This Article

Yüksel, E., Kılıç, E., Ayna, Z., Göksel, B. (2026). Can Artificial Intelligence Verify Digital Content? A Comparative Analysis of Large Language Models and Fact-Checking Platforms in Türkiye. Kurgu, Cilt: 34 Sayı: 2, 67–88. https://ajindex.com/articles/1523573

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (28)

  1. Aïmeur, E., Amri, S., & Brassard, G. (2023). Fake news, disinformation and misinformation in social media: A review. Social Network Analysis and Mining, 13(1), Article 30. https://doi.org/10.1007/s13278-023-01028-5
  2. Allcott, H., & Gentzkow, M. (2017). Social media and fake news in the 2016 election. Journal of Economic Perspectives, 31(2), 211–236. https://doi.org/10.1257/jep.31.2.211
  3. Bosley, M., Jacobs-Harukawa, M., Licht, H., & Hoyle, A. (2023). Do we still need BERT in the age of GPT? Comparing the benefits of domain-adaptation and in-context-learning approaches to using LLMs for political science research. Annual Meeting of the Midwest Political Science Association. https://mbosley.github.io/papers/bosley_harukawa_licht_hoyle_mpsa2023.pdf
  4. Caramancion, K. M. (2023). News verifiers showdown: A comparative performance evaluation of ChatGPT 3.5, ChatGPT 4.0, Bing AI, and Bard in news fact-checking. arXiv. https://arxiv.org/abs/2306.17176
  5. Deiana, G., Dettori, M., Arghittu, A., Azara, A., Gabutti, G., & Castiglia, P. (2023). Artificial intelligence and public health: Evaluating ChatGPT responses to vaccination myths and misconceptions. Vaccines, 11(7), Article 1217. https://doi.org/10.3390/vaccines11071217
  6. Doğruluk Payı. (t.y.-a). Hakkımızda. Doğruluk Payı. https://www.dogrulukpayi.com/sayfa/hakkimizda
  7. Doğruluk Payı. (t.y.-b). Değerlendirme kriterleri. Doğruluk Payı. https://www.dogrulukpayi.com/sayfa/metodoloji
  8. Evren, O., & Türedi, U. (2022). Yeni medya içeriklerinde doğruluk kontrolü uygulamalarına genel bir bakış. The Journal of Communication and Social Studies, 2(2), 224–240.
  9. Graves, L. (2016). Deciding what’s true: The rise of political fact-checking in American journalism. New York: Columbia University Press.
  10. Guo, Z., Schlichtkrull, M., & Vlachos, A. (2022). A survey on automated fact-checking. Transactions of the Association for Computational Linguistics, 10, 178–206. https://doi.org/10.1162/tacl_a_00454
  11. Hoes, E., Altay, S., & Bermeo, J. (2023). Leveraging ChatGPT for efficient fact-checking. PsyArXiv. https://doi.org/10.31234/osf.io/qnjkf
  12. Karasar, N. (2012). Bilimsel araştırma yöntemi: Kavramlar, ilkeler, teknikler. Ankara: Nobel Yayıncılık.
  13. Kavaklı, N. (2019). Yalan haberle mücadele ve internet teyit/doğrulama platformları. Erciyes İletişim Dergisi, 6(1), 663–682.
  14. Kuznetsova, E., Makhortykh, M., Vziatysheva, V., Stolze, M., Baghumyan, A., & Urman, A. (2025). In generative AI we trust: Can chatbots effectively verify political information? Journal of Computational Social Science, 8, Article 15. https://doi.org/10.1007/s42001-024-00338-8
  15. Malûmatfüruş. (t.y.-a). Hakkında. Malûmatfüruş. https://www.malumatfurus.org/hakkinda/
  16. Malûmatfüruş. (t.y.-b). Yöntem. Malûmatfüruş. https://www.malumatfurus.org/yontem/
  17. Naveed, H., Khan, A. U., Qiu, S., Saqib, M., Anwar, S., Usman, M., Akhtar, N., Barnes, N., & Mian, A. (2024). A comprehensive overview of large language models. arXiv. https://arxiv.org/abs/2307.06435
  18. Neuendorf, K. A. (2002). The content analysis guidebook. Thousand Oaks: SAGE Publications.
  19. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., & Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35, 27730–27744.
  20. Patton, M. Q. (2015). Qualitative research & evaluation methods: Integrating theory and practice (4. baskı). Thousand Oaks: SAGE Publications.
  21. Sharma, K., Qian, F., Jiang, H., Ruchansky, N., Zhang, M., & Liu, Y. (2019). Combating fake news: A survey on identification and mitigation techniques. ACM Transactions on Intelligent Systems and Technology, 10(3), Article 21. https://doi.org/10.1145/3305260
  22. Teyit. (t.y.-a). Metodoloji. Teyit. https://teyit.org/metodoloji
  23. Teyit. (t.y.-b). Değerlerimiz. Teyit. https://teyit.org/degerlerimiz
  24. Trewinnard, T., & Bell, F. (2018). Social media verification: Assessing sources and visual content. İçinde C. Ireton & J. Posetti (Ed.), Journalism, “fake news” & disinformation: Handbook for journalism education and training (ss. 100–113). Paris: UNESCO Publishing.
  25. Urman, A., & Makhortykh, M. (2025). The silence of the LLMs: Cross-lingual analysis of guardrail-related political bias and false information prevalence in ChatGPT, Google Bard, and Bing Chat. Telematics and Informatics, 96, Article 102211. https://doi.org/10.1016/j.tele.2024.102211
  26. Wardle, C., & Derakhshan, H. (2017). Information disorder: Toward an interdisciplinary framework for research and policy making. Strasbourg: Council of Europe.
  27. Yalansavar. (t.y.-a). Yalansavar sık sorulan sorular. Yalansavar. https://yalansavar.org/yalansavar-sik-sorulan-sorular/
  28. Yalansavar. (t.y.-b). Neden? Yalansavar. https://yalansavar.org/about/