AI Summary & Key Takeaways
AI InsightResults Overall accuracy rates were 95% for ChatGPT, 92.5% for Claude, 88.3% for Gemini, and 88.3% for Copilot.
📌 3 Key Takeaways
Abstract
Objectives The aim of this study was to comparatively evaluate the accuracy and temporal consistency of responses provided by four artificial intelligence–based chatbots to multiple-choice questions related to intraoral maxillofacial prostheses. Material and Methods Forty single-best-answer multiple-choice questions were prepared on topics such as maxillectomy obturators, palatopharyngeal obturators and palatal lift prostheses, mandibular guidance flange prostheses, and implant-retained obturators. Each chatbot was asked the same set of questions 3 times (morning, noon, and evening) on the same day. Responses were compared with the key answer, and each answer was recorded as correct or incorrect to calculate accuracy rates. A generalized linear mixed model was constructed to examine the effects of chatbot model and time on accuracy. Temporal consistency was assessed by determining the proportion of identical answers across the three repetitions for each question and by calculating Fleiss’ kappa coefficients. Results Overall accuracy rates were 95% for ChatGPT, 92.5% for Claude, 88.3% for Gemini, and 88.3% for Copilot. The generalized linear mixed model revealed no statistically significant differences in accuracy among the chatbots (p = 0.084) or across time points (p = 0.760). The random effect of question identity was significant, indicating differences in difficulty among questions. Full temporal stability rates were calculated as 92.5% for ChatGPT, 95% for Copilot, 85% for Gemini, and 92.5% for Claude. Fleiss’ kappa coefficients ranged from 0.84 to 0.95, indicating a high level of agreement. Conclusion All four chatbots demonstrated high accuracy and high short-term consistency on intraoral maxillofacial prosthodontics questions. However, instances of repeated incorrect answers suggest that these tools should serve as complementary educational aid rather than replacements for expert judgment and current scientific evidence.
Özet
Amaç Bu çalışmanın amacı, intraoral maksillofasiyal protezlerle ilgili çoktan seçmeli sorulara dört yapay zeka (YZ) tabanlı sohbet robotu tarafından verilen yanıtların doğruluğunu ve zaman içi tutarlılığını karşılaştırmalı olarak değerlendirmektir. Gereç ve Yöntemler Maksillektomi obturatörleri, palatofaringeal obturatör ve palatal lift protezleri, mandibular rehber flanş protezleri ve implant tutuculu obturatörler gibi konuları kapsayan, tek doğru şıklı 40 çoktan seçmeli soru hazırlandı. Sorular her bir sohbet robotuna aynı gün içinde sabah, öğle ve akşam olmak üzere 3 kez yöneltildi. Yanıtlar cevap anahtarı ile karşılaştırılarak her bir cevabın doğru veya yanlış olduğu kaydedildi ve doğruluk oranları hesaplandı. Doğruluk üzerine YZ modeli ve zamanın etkisini incelemek amacıyla genelleştirilmiş lineer karma model oluşturuldu. Zaman içi tutarlılık, aynı soruya 3 tekrarda da aynı şıkkın verilme oranı ve Fleiss Kappa katsayıları ile değerlendirildi. Bulgular Genel doğruluk oranları ChatGPT için %95, Claude için %92.5, Gemini için %88.3 ve Copilot için %88.3 olarak bulundu. Genelleştirilmiş lineer karma model analizinde sohbet robotları arasında (p = 0.084) ve zamanlar arasında da istatistiksel olarak anlamlı bir fark saptanmadı (p = 0.760). Soru kimliğinin rastgele etkisi anlamlıydı ve sorular arasında zorluk farkı bulundu. Zaman içi tam stabilite oranları ChatGPT için %92.5, Copilot için %95, Gemini için %85 ve Claude için %92.5 olarak hesaplandı. Fleiss Kappa katsayıları 0.84-0.95 aralığında olup yüksek derecede uyumluydu. Sonuçlar Dört sohbet robotu, intraoral maksillofasiyal protez sorularında yüksek doğruluk ve yüksek zaman içi tutarlılık göstermiştir. Bununla birlikte bazı sorularda tutarlı biçimde hatalı yanıtlar verilmesi, bu araçların uzman değerlendirmesi ve güncel literatürün yerini alamayacağını, ancak eğitim süreçlerinde tamamlayıcı bir kaynak olarak yararlı olabileceğini göstermektedir.