Journals / Dinbilimleri Akademik Araştırma Dergisi / 2024 / Cilt: 24 Sayı: 3 Özel Sayı

Accuracy Evaluation of ChatGPT 4.0 in Text Annotation of Turkish Islamic Literature

Chatgpt 4.0’ın Türk İslam Edebiyatı Metin Şerhinde Doğruluk Değerlendirmesi

Ali Cançelik(Kocaeli University, Kocaeli, Turkey)0000-0002-6058-826X
İhsan Şen(KOCAELİ ÜNİVERSİTESİ, İLAHİYAT FAKÜLTESİ)0000-0003-0495-148X
Emrullah Yakut(MARDİN ARTUKLU ÜNİVERSİTESİ, EDEBİYAT FAKÜLTESİ)0000-0002-1268-1806
Pages
69–91
Publication Date
2024-12-31
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

Results show that the guided approach provided high accuracy, thematic relevance, and consistency, while the unguided responses yielded greater clarity and specificity, though with reduced factual precision.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:This study explores the use of artificial intelligence, specifically ChatGPT-4.0, in analyzing Turkish Islamic literature with a focus on text annotation and accuracy evaluation.
📊
Key Findings & Data:Results show that the guided approach provided high accuracy, thematic relevance, and consistency, while the unguided responses yielded greater clarity and specificity, though with reduced factual precision.
💡
Conclusion & Impact:Overall, findings suggest that AI can effectively support traditional methods in Turkish Islamic literary studies, contributing a complementary analytical tool for more accessible interpretation.
🔬Design:Araştırma Makalesi
📍Scope:Comprehensive Sample
⚙️Variables:Türk İslam Edebiyatı · Yapay Zekâ · ChatGPT

Abstract

This study explores the use of artificial intelligence, specifically ChatGPT-4.0, in analyzing Turkish Islamic literature with a focus on text annotation and accuracy evaluation. The research examines twenty couplets from a classical qasida dedicated to Sultan Selim I. The first ten couplets were analyzed using guided prompts on the music-emotion relationship, while the remaining ten were interpreted without specific guidance, allowing autonomous interpretation. Results show that the guided approach provided high accuracy, thematic relevance, and consistency, while the unguided responses yielded greater clarity and specificity, though with reduced factual precision. Using an Accuracy of Information Index (AOI) with six criteria, this study demonstrates the value of prompt structuring in enhancing AI’s focus on complex themes within specialized literature. Overall, findings suggest that AI can effectively support traditional methods in Turkish Islamic literary studies, contributing a complementary analytical tool for more accessible interpretation.

Özet

Bu çalışma, yapay zekânın Türk İslam edebiyatı metin şerhi üzerindeki etkisini incelemektedir. Çalışmada, ChatGPT-4o sürümü kullanılarak Türk İslam edebiyatına ait kaside türünde bir metnin 20 beyti analiz edilmiştir. İlk 10 beyit, müzik-duygu ilişkisi çerçevesinde yönlendirilerek analiz edilirken, son 10 beyit yönlendirme olmaksızın yorumlanmıştır. Yönlendirme ile yapılan değerlendirmede bilgi doğruluğu, kanıtlara dayanma ve konu ilgililiği puanları yüksek çıkarken, yönlendirmesiz değerlendirmede açıklık ve spesifiklik puanları artmıştır. Çalışma, yapay zekânın Türk İslam edebiyatı metin analizinde sistematik bir yaklaşım sunduğunu, ancak doğruluk ve güvenilirlik açısından dikkat edilmesi gereken unsurlar olduğunu ortaya koymaktadır. Yönlendirme kullanımı, analizlerin daha tutarlı ve konu odaklı olmasını sağlarken, yönlendirmesiz analizler daha bağımsız yorum fırsatı sunmuştur.

🔖

Cite This Article

Cançelik, A., Şen, İ., Yakut, E. (2024). Accuracy Evaluation of ChatGPT 4.0 in Text Annotation of Turkish Islamic Literature. Dinbilimleri Akademik Araştırma Dergisi, Cilt: 24 Sayı: 3 Özel Sayı, 69–91. https://doi.org/10.33415/daad.1582602

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (22)

  1. Barkçin, Savaş. 40 Makam 40 Anlam. İstanbul: Ketebe Yayınevi, 2. Basım, 2021.
  2. Cançelik, Ali. 18. Yüzyıl Klasik Türk Şiirinde Musiki Bestekâr, Terminoloji ve Tahlil. Konya: Entropi Akademi, 2022.
  3. Cançelik, Ali. Şiir Aynasında Tarih. Konya: Entropi Akademi, 1. Basım, 2022.
  4. Çetinkaya, Yalçın. İhvân-ı Safâ’da Müzik Düşüncesi. İstanbul: İnsan Yayınları, 1995.
  5. Genç, M. Fatih - Uddin, E.A. “The model of religious education in today’s secular and multicultural societies - Post-Confessional Inclusivist Religious Education (PCIRE)”. British Journal of Religious Education (ISI) 45/2 (2022), 127-137.
  6. Groves, Robert M. Survey Methodology. United States of America: Wiley, 2. Basım, 2008.
  7. Kaplan, Mehmet. Türk Edebiyatı Üzerinde Araştırmalar. İstanbul: Dergâh Yayınları, 4. Basım, 1997.
  8. Köprülü, Fuad. Türk Edebiyatında İlk Mutasavvıflar. Ankara: Akçağ Yayınları, 2003.
  9. Merton, Robert King. Social Theory and Social Structure. New York: Free Pres, 1968.
  10. Öncel, Mehmet. Medeniyet değerlerimiz:Musiki. İstanbul: Evrensel Değerler, 2021.
  11. Öncel, Mehmet - Çergel, Muhammet Ali. Türk Müzikolojisinin Kurucusu Rauf Yektâ Bey. 3 Cilt. İstanbul: Ketebe Yayınevi, 2024.
  12. Özkan, İsmail Hakkı. Türk Mûsikîsi Nazariyâtı ve Usûlleri Kudüm Velveleleri. İstanbul: Ötüken Neşriyat, 8. Basım, 2006.
  13. Pala, İskender. Ansiklopedik Divan Şiiri Sözlüğü. Istanbul: Ötüken Neşriyat, 7. Baskı., 2000.
  14. Pala, İskender. “Bir Elmanın İki Yarısı: Klasik Şiir ve Osmanlı Tarihi”. Türk Kültürü İnceleme Dergisi 3 (ts.), 141-154.
  15. Rabbie, Earl R. The Practice of Social Research. Avustralya: Cengage AU, 15. Basım, 2020.
  16. Şahiner, Necmeddin. Avrupa’yı Titreten Musiki Mehter. İstanbul: Elips Kitap, 2007.
  17. Şemseddin Sâmi. Kamus-ı Türki. Ankara: Türk Dil Kurumu Yayınları, 4. Baskı., 2023.
  18. Şen, İhsan. II. Abdülhamid Döneminde Merâsim Musikîsi. İlahiyat Yayınları: Ankara, 2020.
  19. Tanrıkorur, Cinuçen. Osmanlı Dönemi Türk Mûsikîsi. İstanbul: Dergâh Yayınları, 2005.
  20. Tarlan, Ali Nihad. Edebiyat Meseleleri. İstanbul: Ötüken Yayınları, 1981.
  21. Tarlan, Ali Nihad. Fuzûlî Divanı Şerhi. Ankara: Akçağ Yayınları, 4. Basım, 2005.
  22. Turabi, Ahmet Hakkı. Gevrekzâde Hafız Hasan Efendi ve Mûsikî Risâlesi. İstanbul: Rağbet Yayınları, 2005.