AI Summary & Key Takeaways
AI InsightDiagnostic performance was assessed using sensitivity, specificity, and overall accuracy.
📌 3 Key Takeaways
Abstract
Objective: This study aimed to evaluate the diagnostic performance and clinical safety of large language models (ChatGPT 5.2 Thinking, Gemini 3.1 Pro, and Claude Sonnet 4.6) in detecting pediatric supracondylar humerus (SCH) fractures, classifying them according to the Gartland system, and providing treatment recommendations based on American Academy of Orthopedic Surgeons (AAOS) clinical practice guidelines. Material and Methods: In this retrospective observational study, radiographs and clinical data from 128 pediatric patients presenting with elbow trauma (84 fractures and 44 non-fractures) were analyzed. The reference standard was established through consensus evaluation by orthopedic specialists according to AAOS guidelines. Anonymized AP and lateral elbow radiographs, along with age, sex, and brief clinical history, were provided to each model. Diagnostic performance was assessed using sensitivity, specificity, and overall accuracy. Agreement in Gartland classification was evaluated using Cohen’s kappa (κ). Clinical safety was examined by analyzing under-treatment and over-treatment risks in surgical decision recommendations. Results: Gemini 3.1 demonstrated the highest sensitivity for fracture detection (96%) but had low specificity (41%). ChatGPT 5.2 showed a more balanced profile with both sensitivity and specificity of 64%, whereas Claude 4.6 demonstrated the lowest overall diagnostic accuracy (55%). In Gartland classification, Gemini 3.1 achieved the highest agreement (κ=0.60), while Claude 4.6 showed the lowest (κ=0.33). Regarding treatment recommendations, Gemini 3.1 avoided under-treatment of surgical cases but produced substantial over-treatment, whereas ChatGPT 5.2 missed 40% of surgically indicated cases. Conclusion: Although LLMs may offer supportive insights in radiographic interpretation, their current performance demonstrates considerable risks of false-positive and false-negative decisions. These findings indicate that LLMs are not yet sufficiently reliable for independent clinical decision-making in pediatric SCH fractures, and expert oversight remains essential.
Özet
Amaç: Bu çalışma, büyük dil modellerinin (ChatGPT 5.2 Thinking, Gemini 3.1 Pro ve Claude Sonnet 4.6) pediatrik suprakondiler humerus (SCH) kırıklarının tespitinde, Gartland sistemine göre sınıflandırılmasında ve Amerikan Ortopedi Cerrahları Akademisi (AAOS) klinik uygulama kılavuzlarına dayalı tedavi önerileri sunmada tanısal performansını ve klinik güvenliğini değerlendirmek amacıyla yapılmıştır. Gereç ve Yöntem: Bu retrospektif gözlemsel çalışmada, dirsek travması (84 kırık ve 44 kırık olmayan) ile başvuran 128 pediatrik hastanın radyografileri ve klinik verileri analiz edildi. Referans standardı, AAOS kılavuzlarına göre ortopedi uzmanlarının konsensüs değerlendirmesi ile belirlendi. Anonimleştirilmiş AP ve lateral dirsek radyografileri, yaş, cinsiyet ve kısa klinik öykü ile birlikte her modele sağlandı. Tanı performansı duyarlılık, özgüllük ve genel doğruluk kullanılarak değerlendirildi. Gartland sınıflandırmasındaki uyum Cohen'in kappa (κ) katsayısı kullanılarak değerlendirildi. Klinik güvenlik, cerrahi karar önerilerindeki yetersiz tedavi ve aşırı tedavi riskleri analiz edilerek incelendi. Bulgular: Gemini 3.1, kırık tespiti için en yüksek duyarlılığı (%96) gösterdi, ancak özgüllüğü düşüktü (41%). ChatGPT 5.2, hem duyarlılık hem de özgüllük açısından %64 ile daha dengeli bir profil sergilerken, Claude 4.6 en düşük genel tanı doğruluğunu (%55) gösterdi. Gartland sınıflandırmasında Gemini 3.1 en yüksek uyumu (κ=0,60) elde ederken, Claude 4.6 en düşük uyumu (κ=0,33) gösterdi. Tedavi önerileri açısından Gemini 3.1, cerrahi vakaların yetersiz tedavisini önledi, ancak önemli ölçüde aşırı tedaviye yol açarken, ChatGPT 5.2 cerrahi olarak endike olan vakaların %40'ını kaçırdı. Sonuç: LLM'ler radyografik yorumlamada destekleyici bilgiler sunsa da, mevcut performansları yanlış pozitif ve yanlış negatif kararların alınması riskini önemli ölçüde artırmaktadır. Bu bulgular, LLM'lerin pediatrik SCH kırıklarında bağımsız klinik karar verme için henüz yeterince güvenilir olmadığını ve uzman gözetiminin hala gerekli olduğunu göstermektedir.