AI Summary & Key Takeaways
AI InsightThese findings indicate that LLMs could complement, but not replace, human expertise.
📌 3 Key Takeaways
Abstract
Aim: To assess the accuracy and decision-support potential of ChatGPT in pediatric emergency practice by comparing its performance with human responses to structured multiple-choice questions. Material and Methods: This cross-sectional study used 100 randomly selected questions from Pediatric Emergency Medicine: Just the Facts, Second Edition. The GPT-4o model was tested without prior prompts, and its answers were compared with the reference solutions and human accuracy rates reported in the source. Accuracy rates were calculated and compared using z-tests. Correlation between ChatGPT and human performance was analyzed with Spearman’s test. Results: ChatGPT answered 85 of 100 questions correctly, achieving an accuracy of 85% (95% CI: 78.0–92.0), which was significantly higher than the mean human accuracy of 54% (95% CI: 50.8–57.4) (p < 0.001). Topic-based analysis showed that ChatGPT’s accuracy ranged from 75% to 100%, while human accuracy ranged from 30% to 65%, with higher variance. Among the 15 questions answered incorrectly by ChatGPT, 60% were case-based; the average correct human response rate for these was 35 ± 17%. A moderate positive correlation was observed between human and ChatGPT performance (ρ = 0.40, p < 0.001). Conclusion: ChatGPT demonstrated high accuracy on structured pediatric emergency questions, suggesting potential as a supportive tool in decision-making and education. While its strengths lie in knowledge-based tasks, limitations remain in complex case-based reasoning. These findings indicate that LLMs could complement, but not replace, human expertise. Prospective studies are warranted to evaluate real-world integration in pediatric emergency care.
Özet
Amaç: Bu çalışmada, yapılandırılmış çoktan seçmeli sorularda ChatGPT’nin doğruluğu insan yanıtlarıyla karşılaştırılarak, çocuk acil pratiğinde karar destek potansiyeli değerlendirildi. Gereç ve Yöntemler: Kesitsel çalışmada Pediatric Emergency Medicine: Just the Facts, Second Edition kitabından rastgele seçilen 100 soru kullanıldı. GPT-4o modeli ek komut verilmeden test edildi. Yanıtlar kaynak cevaplarla ve literatürde bildirilen insan doğruluk oranlarıyla karşılaştırıldı. Doğruluk oranları hesaplandı; z-testi ile karşılaştırma, Spearman testi ile korelasyon analizi yapıldı. Bulgular: ChatGPT 100 sorunun 85’ine doğru yanıt verdi (%85; GA %78,0–92,0). İnsan doğruluk oranı ortalama %54 (GA %50,8–57,4) olup fark istatistiksel olarak anlamlıydı (p < 0,001). Konu bazlı analizde ChatGPT’nin doğruluğu %75–100, insan yanıtlarının doğruluğu %30–65 arasında değişti. ChatGPT’nin yanlış yanıtladığı 15 sorunun %60’ı vaka bazlıydı; bu sorularda insan doğruluk oranı %35±17 idi. İnsan doğruluk oranları ile ChatGPT performansı arasında orta düzeyde pozitif korelasyon bulundu (ρ = 0,40; p < 0,001). Sonuç: ChatGPT, bilgi yoğunluğu yüksek pediatrik acil sorularında yüksek doğruluk göstermiştir. Bulgular, modelin eğitim ve karar desteğinde tamamlayıcı bir araç olabileceğini göstermektedir. Bununla birlikte, vaka bazlı muhakemede sınırlılıkları devam etmektedir. ChatGPT ve benzeri modellerin klinik kullanıma entegrasyonu için ileriye dönük çalışmalara ihtiyaç vardır.