Journals / Journal of Contemporary Medicine / 2026 / Cilt: 16 Sayı: 2
Guideline Concordance and Safety of AI Chatbots for Circumcision Anesthesia: A Comparative Study
- Pages
- 109–115
Abstract
Background Public interest in the use of anesthesia during circumcision has increased, yet the reliability of freely available artificial intelligence (AI) chatbots in addressing such medical questions remains unclear. This study aimed to comparatively assess the accuracy, safety, and citation reliability of three widely used AI chatbots—ChatGPT, Gemini, and DeepSeek—when responding to common public queries related to circumcision anesthesia. Methods Five high-interest questions were derived from global Google Trends data and submitted to each chatbot using two different input formats: unstructured lay-language queries and structured prompts explicitly based on current clinical guidelines. All generated responses were independently reviewed by a urologist and an anesthesiologist and scored for guideline concordance, citation accuracy, and the presence of potentially harmful information. Results Across both query formats, DeepSeek produced responses that were more closely aligned with established guidelines compared with ChatGPT and Gemini (P<0.05). Under structured prompting, DeepSeek also demonstrated higher citation accuracy than ChatGPT (P=0.049). Importantly, none of the evaluated responses contained advice deemed unsafe or clinically harmful. The use of structured, guideline-oriented prompts was associated with a consistent improvement in response quality across all evaluated AI platforms. Conclusion Freely accessible AI chatbots show heterogeneous performance in providing information on circumcision anesthesia. Although these systems may offer supplementary educational value, their outputs vary in reliability and should be interpreted with caution. Expert clinical oversight remains essential to ensure patient safety and adherence to evidence-based guidelines.
Özet
Giriş Sünnet sırasında anestezi kullanımına yönelik toplumsal ilgi giderek artmaktadır; ancak bu tür tıbbi sorulara yanıt vermede serbestçe erişilebilen yapay zekâ (YZ) sohbet botlarının güvenilirliği henüz net değildir. Bu çalışmanın amacı, sünnet anestezisine ilişkin yaygın kamu sorularına verilen yanıtlar açısından yaygın olarak kullanılan üç YZ sohbet botunun—ChatGPT, Gemini ve DeepSeek—doğruluk, güvenlik ve kaynak gösterme güvenilirliğini karşılaştırmalı olarak değerlendirmektir. Yöntemler Küresel Google Trends verilerinden yüksek ilgi gören beş soru belirlendi ve her bir sohbet botuna iki farklı girdi formatında yöneltildi: yapılandırılmamış, halk diliyle sorular ve güncel klinik kılavuzlara açıkça dayandırılmış yapılandırılmış istemler. Üretilen tüm yanıtlar bir ürolog ve bir anesteziyolog tarafından bağımsız olarak değerlendirildi ve kılavuzlara uygunluk, kaynak doğruluğu ve potansiyel olarak zararlı bilgi içeriği açısından puanlandı. Bulgular Her iki soru formatında da DeepSeek, ChatGPT ve Gemini’ye kıyasla yerleşik klinik kılavuzlarla daha yüksek uyum gösteren yanıtlar üretti (P<0,05). Yapılandırılmış istemler altında DeepSeek’in kaynak gösterme doğruluğu ChatGPT’ye kıyasla daha yüksekti (P=0,049). Önemli olarak, değerlendirilen hiçbir yanıt klinik açıdan güvensiz veya zararlı kabul edilen bir öneri içermedi. Yapılandırılmış ve kılavuz odaklı istemlerin kullanımı, değerlendirilen tüm YZ platformlarında yanıt kalitesinde tutarlı bir iyileşme ile ilişkili bulundu. Sonuç Serbestçe erişilebilen YZ sohbet botları, sünnet anestezisi hakkında bilgi sunma konusunda heterojen bir performans sergilemektedir. Bu sistemler tamamlayıcı bir eğitsel değer sunabilse de, ürettikleri çıktılar güvenilirlik açısından değişkenlik göstermekte olup dikkatle yorumlanmalıdır. Hasta güvenliğinin sağlanması ve kanıta dayalı kılavuzlara uyumun korunması için uzman klinik denetim vazgeçilmezdir.