Dergiler / Uluslararası Diş Hekimliği Bilimleri Dergisi / 2026 / Cilt: 12 Sayı: 1

Yapay zeka tabanlı sohbet robotlarının sık sorulan genel diş hekimliği sorularına verdiği yanıtların kalitesi, güvenilirliği, yanıt süresi ve kelime sayısının değerlendirilmesi

Evaluation of Quality, Reliability, Response Time, and Word Count of AI-Based Chatbots' Responses to Frequently Asked General Dentistry Questions

Sayfa
42–50
Yayın Tarihi
2026-04-30
🏛️Bu makalenin bibliyografik verileri ve tam metin bağlantısı DergiPark üzerinden sağlanmıştır.
DergiPark Kaydı ↗
✨

Yapay Zeka Hızlı Bakış & Çıkarımlar

AI Insight
⚡ TL;DR(1 Cümlede Hızlı Çıkarım)

Bulgular: Sohbet robotları arasında yanıt süresi, GQS, CLEAR ve kelime sayısı açısından önemli farklılıklar bulundu (p < 0,05).

📌 3 Maddede Bu Makale

🎯
Amaç & Hipotez:Amaç: Bu çalışmada farklı yapay zeka (YZ) tabanlı sohbet robotlarının genel diş hekimliği sorularına verdiği cevapların kalitesi, güvenilirliği, yanıt süresi ve kelime sayısının karşılaştırılması amaçlandı.
📊
Temel Bulgular & Veri:Soru yanıtları beş yapay zeka tabanlı sohbet robotundan elde edildi: ChatGPT-5, Dental GPT, My Dentist GPT, Dentistry Insight GPT ve Dentistry GPT.
💡
Sonuç & Katkı:Bulgular: Sohbet robotları arasında yanıt süresi, GQS, CLEAR ve kelime sayısı açısından önemli farklılıklar bulundu (p < 0,05).
🔬Tür:Deneysel Tarla Denemesi
📍Kapsam:Genişletilmiş Akademik Örneklem
⚙️Değişkenler:Yapay zeka · Diş hekimleri · Diş hekimliği

Özet

Amaç: Bu çalışmada farklı yapay zeka (YZ) tabanlı sohbet robotlarının genel diş hekimliği sorularına verdiği cevapların kalitesi, güvenilirliği, yanıt süresi ve kelime sayısının karşılaştırılması amaçlandı. Gereç ve yöntemler: Bu çalışmada uzman görüşleri, kaynaklar ve içerik geçerlilik analizine dayalı olarak yirmi adet açık uçlu soru seçildi. Soru yanıtları beş yapay zeka tabanlı sohbet robotundan elde edildi: ChatGPT-5, Dental GPT, My Dentist GPT, Dentistry Insight GPT ve Dentistry GPT. Yanıtların kalitesi ve güvenilirliği sırasıyla Global Kalite Ölçeği (GQS) ve CLEAR aracı kullanılarak değerlendirildi. Yanıt süresi ve kelime sayısı da kaydedildi. Veriler Kruskal-Wallis testi ve Spearman korelasyonu (p < 0,05) kullanılarak analiz edildi. Bulgular: Sohbet robotları arasında yanıt süresi, GQS, CLEAR ve kelime sayısı açısından önemli farklılıklar bulundu (p < 0,05). ChatGPT-5, Dentistry Insight GPT ve Dentistry GPT en yüksek GQS ve CLEAR puanlarını gösterdi. My Dentist GPT ve Dental GPT daha hızlı sürede ancak daha düşük kaliteli yanıtlar verdi. GQS ve CLEAR arasında güçlü korelasyon bulundu (r=0,810, p < 0,001). Yanıt süresi ve kelime sayısı; GQS ve CLEAR ile pozitif korelasyon gösterdi bu da daha uzun ve daha ayrıntılı yanıtların genellikle daha doğru ve daha yüksek kalitede olduğunu gösterdi. Sonuç: YZ tabanlı sohbet robotları diş hekimliği sorularına yararlı yanıtlar verebilir. En yüksek kalite ve güvenilirlik değerleri ChatGPT-5, Dentistry Insight GPT ve Dentistry GPT modellerinde gözlemlenmiştir. Daha uzun yanıtlar genellikle daha doğru olma eğiliminde olsa da, yanıt süresi veya uzunluğu doğruluğun göstergesi olarak değerlendirilmemelidir.

Abstract

Aim: This study aimed to compare the quality, reliability, response time, and word count of responses provided by different artificial intelligence (AI)-based chatbots to general dentistry questions. Material and Methods: In this study, twenty open-ended questions were selected based on expert opinions, sources, and content validity analysis. The question responses were obtained from five AI-based chatbots: ChatGPT-5, Dental GPT, My Dentist GPT, Dentistry Insight GPT, and Dentistry GPT. The quality and reliability of the responses were assessed using the Global Quality Scale (GQS) and the CLEAR tool, respectively. Response time and word count were also recorded. Data were analyzed using the Kruskal-Wallis test and Spearman correlation (p < 0.05). Results: Significant differences were found among chatbots for response time, GQS, CLEAR, and word count (p < 0.05). ChatGPT-5, Dentistry Insight GPT, and Dentistry GPT showed the highest GQS and CLEAR scores. My Dentist GPT and Dental GPT provided faster but lower-quality responses. A strong correlation was found between GQS and CLEAR (r=0.810, p < 0.001). Response time and word count showed a positive correlation with GQS and CLEAR; this indicated that longer and more detailed responses were generally more accurate and of higher quality. Conclusions: AI-based chatbots can provide useful answers to dental questions. The ChatGPT-5, Dentistry Insight GPT, and Dentistry GPT models exhibited the highest quality and reliability values. While longer responses tended to be more accurate, response time or length alone should not be considered indicators of correctness.

🔖

Bu Makaleye Atıf Yap

Fidan, M., Yağcı, Ö. (2026). Yapay zeka tabanlı sohbet robotlarının sık sorulan genel diş hekimliği sorularına verdiği yanıtların kalitesi, güvenilirliği, yanıt süresi ve kelime sayısının değerlendirilmesi. Uluslararası Diş Hekimliği Bilimleri Dergisi, Cilt: 12 Sayı: 1, 42–50. https://doi.org/10.21306/dishekimligi.1880832

📄 Tam Metin PDF Okuyucu

📄

PDF görüntüleyici hazırlanıyor...

Kaynakça (32)

  1. Ozduran E, Hancı V, Erkin Y, Özbek İC, Abdulkerimov V. Assessing the readability, quality and reliability of responses produced by ChatGPT, Gemini, and Perplexity regarding most frequently asked keywords about low back pain. PeerJ. 2025;13:e18847.
  2. Suárez A, Díaz-Flores García V, Algar J, Gómez Sánchez M, Llorente de Pedro M, Freire Y. Unveiling the ChatGPT phenomenon: Evaluating the consistency and accuracy of endodontic question answers. Int Endod J. 2024;57:108-113.
  3. Aggarwal A, Tam CC, Wu D, Li X, Qiao S. Artificial intelligence-based chatbots for promoting health behavioral changes: Systematic review. J Med Internet Res. 2023;25:e40789.
  4. Gritti MN, AlTurki H, Farid P, Morgan CT. Progression of an artificial intelligence chatbot (ChatGPT) for pediatric cardiology educational knowledge assessment. 2024;45:309-313.
  5. Ozdemir ZM, Yapici E. Evaluating the accuracy, reliability, consistency, and readability of different large language models in Restorative Dentistry. J Esthet Restor Dent. 2025;37:1740-1752.
  6. Shiferaw MW, Zheng T, Winter A, Mike LA, Chan LN. Assessing the accuracy and quality of artificial intelligence (AI) chatbot-generated responses in making patient-specific drug-therapy and healthcare related decisions. BMC Med Inform Decis Mak. 2024;24:404.
  7. Agrawal P, Nikhade P. Artificial intelligence in dentistry: Past, present, and future. Cureus. 2022;14:e27405.
  8. Fatani B. ChatGPT for future medical and dental research. Cureus. 2023;15:e37285.
  9. Alhaidry HM, Fatani B, Alrayes JO, Almana AM, Alfhaed NK. ChatGPT in Dentistry: A Comprehensive Review. Cureus. 2023;15:e38317.
  10. Wilson FR, Pan W, Schumsky DA. Recalculation of the critical values for Lawshe’s content validity ratio. Meas Eval Couns Dev. 2012;45:197-210.
  11. Bayraktar Nahir C. Can ChatGPT be guide in pediatric dentistry? BMC Oral Health. 2025;25:9.
  12. Balel Y. Can ChatGPT be used in oral and maxillofacial surgery? J Stomatol Oral Maxillofac Surg. 2023;124:101471.
  13. Tirumala AKG, Mishra S, Trivedi N, Shivakumar D, Singh A, Shariff S. A cross-sectional study to assess response generated by ChatGPT and ChatSonic to patient queries about Epilepsy. Telemat Inform Rep. 2024;13:100110.
  14. Sallam M, Barakat M, Sallam M. Pilot testing of a tool to standardize the assessment of the quality of health information generated by artificial intelligence-based models. Cureus. 2023;15:e49373.
  15. Sallam M, Al-Salahat K, Eid H, Egger J, Puladi B. Human versus artificial intelligence: ChatGPT-4 outperforming Bing, Bard, ChatGPT-3.5 and humans in clinical chemistry multiple-choice questions. Adv Med Educ Pract. 2024;15:857-871.
  16. Tassoker M. ChatGPT-4 Omni’s superiority in answering multiple-choice oral radiology questions. BMC Oral Health. 2025;25:173.
  17. McGraw KO, Wong SP. Forming inferences about some intraclass correlation coefficients. Psychol Methods. 1996;1:30-46.
  18. Verma S, Sharma R, Deb S, Maitra D. Artificial intelligence in marketing: Systematic review and future research direction. Int J Inf Manag Data Insights. 2021;1:100002.
  19. Goodman RS, Patrinely JR, Stone CA, et al. Accuracy and reliability of chatbot responses to physician questions. JAMA Netw Open. 2023;6:e2336483.
  20. Kuka GI, Gursoy H. Content quality and reliability of YouTubeTM videos as a source of information about good oral hygiene practices in adults. PeerJ. 2024;12:e18183.
  21. Baqraf YKA, Keikhosrokiani P, Al-Rawashdeh M. Evaluating online health information quality using machine learning and deep learning: A systematic literature review. Digit Health. 2023;9:20552076231212296.
  22. Bootsma-Robroeks CMHHT, Workum JD, Schuit SCE, et al. AI-generated draft replies to patient messages: exploring Front Digit effects of implementation. Health. 2025;7:1588143.
  23. Chen A, Chen DO. Accuracy of chatbots in citing journal articles. JAMA Netw Open. 2023;6:e2327647-e2327647.
  24. Takita H, Kabata D, Walston SL, et al. A systematic review and meta-analysis of diagnostic performance comparison between generative AI and physicians. NPJ Digit Med. 2025;8:175.
  25. Musheyev D, Pan A, Loeb S, Kabarriti AE. How well do artificial intelligence chatbots respond to the top search queries about urological malignancies? Eur Urol. 2024;85:13-16.
  26. Cocci A, Pezzoli M, Lo Re M, et al. Quality of information and appropriateness of ChatGPT outputs for urology patients. Prostate Cancer Prostatic Dis. 2024;27:103-108.
  27. Gül Ş, Erdemir I, Hanci V, Aydoǧmuş E, Erkoç YS. How artificial intelligence can provide information about subdural hematoma: Assessment of readability, reliability, and quality of ChatGPT, BARD, and perplexity responses. Medicine. 2024;103:E38009.
  28. Taşyürek M, Adıgüzel Ö, Gündoğar M, Goncharuk Khomyn M, Ortaç H. Comparative evaluation of the responses from ChatGPT-5, Gemini 2.5 Flash, and DeepSeek-V3.1 chatbots to patient inquiries about endodontic treatment in terms of accuracy, understandability, and readability. International Dental Research. 2025;15(Advanced Online).
  29. Bulut AC, Bahadır HS, Ateş G. Artificial intelligence in dental education: can AI-based chatbots compete with general practitioners? BMC Med Educ. 2025;25:1319.
  30. Azadi A, Gorjinejad F, Mohammad-Rahimi H, Tabrizi R, Alam M, Golkar M. Evaluation of AI generated responses by different artificial intelligence chatbots to the clinical decision-making case-based questions in oral and maxillofacial surgery. Oral Surg Oral Med Oral Pathol Oral Radiol. 2024;137:587 593.
  31. Meyrowitsch DW, Jensen AK, Sørensen JB, Varga T V. AI chatbots and (mis)information in public health: impact on vulnerable communities. Front Public Health. 2023;11:1226776.
  32. Laymouna M, Ma Y, Lessard D, Schuster T, Engler K, Lebouché B. Roles, users, benefits, and limitations of chatbots in health care: Rapid review. J Med Internet Res 2024;26:e56930.