Artificial Intelligence in Pediatric Urology: Accuracy and Consistency of ChatGPT's Responses on Hypospadias

Pediatrik Ürolojide Yapay Zeka: ChatGPT'nin Hipospadias Konusundaki Yanıtlarının Doğruluğu ve Tutarlılığı

Abstract

Aim: This study aimed to evaluate the accuracy and reproducibility of ChatGPT (GPT-4-turbo) responses to frequently asked questions regarding hypospadias, a common congenital urological condition. As artificial intelligence (AI) becomes increasingly integrated into patient education, its reliability in delivering sensitive and clinically relevant information warrants empirical investigation. Materials and Methods: Frequently asked questions about hypospadias were compiled from pediatric urology association websites, public health portals, and social media platforms. Questions were classified into five categories: general information, diagnosis, treatment, follow-up, and guideline-based recommendations. After excluding duplicate, vague, or subjective questions, 97 unique items were entered into ChatGPT. Two independent pediatric urologists rated the answers on a four-point scale (1 = completely correct, 4 = completely incorrect), and responses were repeated on separate devices to assess reproducibility. Results: Of the 97 responses, 87.6% were graded as completely correct, 7.2% as correct but insufficient, 4.1% as partially misleading, and 1.0% as completely incorrect. The highest rate of accurate answers was observed in the diagnosis and follow-up categories (90.0%), while treatment-related questions showed slightly lower accuracy (86.7%). Guideline-based questions were answered correctly in 87.5% of cases. Overall reproducibility across all categories was 91.7%, with the highest consistency in diagnostic responses. Conclusions: ChatGPT demonstrated high accuracy and reproducibility in answering patient-centered questions related to hypospadias, particularly in diagnosis and general information domains. However, variability in treatment-related content and limitations in referencing highlight the importance of cautious interpretation. While AI may serve as a supplementary educational tool in pediatric urology, clinical oversight remains essential to ensure safe and reliable information dissemination.

Özet

Amaç: Bu çalışma, yaygın bir konjenital ürolojik durum olan hipospadias ile ilgili sık sorulan sorulara ChatGPT (GPT-4-turbo) yanıtlarının doğruluğunu ve tekrarlanabilirliğini değerlendirmeyi amaçlamıştır. Yapay zeka (AI) hasta eğitimine giderek daha fazla entegre hale geldikçe, hassas ve klinik olarak ilgili bilgileri sağlamadaki güvenilirliği ampirik araştırmayı gerektirmektedir. Gereç ve Yöntemler: Hipospadias hakkında sıkça sorulan sorular, pediatrik üroloji derneği web sitelerinden, halk sağlığı portallarından ve sosyal medya platformlarından derlenmiştir. Sorular beş kategoride sınıflandırıldı: genel bilgi, tanı, tedavi, takip ve kılavuza dayalı öneriler. Mükerrer, belirsiz veya öznel sorular elendikten sonra 97 benzersiz soru ChatGPT'ye girilmiştir. İki bağımsız pediatrik ürolog yanıtları dört puanlık bir ölçekte (1 = tamamen doğru, 4 = tamamen yanlış) değerlendirdi ve yanıtlar tekrarlanabilirliği değerlendirmek için ayrı cihazlarda tekrarlandı. Bulgular: 97 yanıtın %87,6'sı tamamen doğru, %7,2'si doğru ancak yetersiz, %4,1'i kısmen yanıltıcı ve %1,0'ı tamamen yanlış olarak derecelendirildi. En yüksek doğru cevap oranı tanı ve takip kategorilerinde gözlenirken (%90,0), tedavi ile ilgili sorular biraz daha düşük doğruluk oranı göstermiştir (%86,7). Kılavuza dayalı sorular vakaların %87,5'inde doğru yanıtlanmıştır. Tüm kategorilerdeki genel tekrarlanabilirlik %91,7 olup, en yüksek tutarlılık tanısal yanıtlarda görülmüştür. Sonuç: ChatGPT, özellikle tanı ve genel bilgi alanlarında olmak üzere hipospadias ile ilgili hasta merkezli soruları yanıtlamada yüksek doğruluk ve tekrarlanabilirlik göstermiştir. Bununla birlikte, tedaviyle ilgili içerikteki değişkenlik ve referans vermedeki sınırlamalar dikkatli yorumlamanın önemini vurgulamaktadır. Yapay zeka pediatrik ürolojide tamamlayıcı bir eğitim aracı olarak hizmet edebilirken, güvenli ve güvenilir bilgi yayılımını sağlamak için klinik gözetim gerekli olmaya devam etmektedir.