AI Summary & Key Takeaways
AI InsightWhile the AI has been demonstrated to function as a supplementary tool to facilitate preliminary assessment, particularly in light of its optimal negative predictive value in non-fracture cases, its moderate false-negative rate (17%) necessitates a cautious approach.
📌 3 Key Takeaways
Abstract
Aim: The objective of this study was to evaluate the effectiveness, accuracy, and consistency of an AI-powered chatbot (ChatGPT 4.0) in supporting clinical and radiological suspicions in the preliminary diagnosis of pelvic ring and acetabular fractures in situations where expert consultation or tertiary healthcare resources are unavailable. Material and Methods: A total of 100 antero-posterior (AP) pelvis X-ray images, 88 exhibiting pelvic or peri-acetabular fractures or instability, and all free from copyright restrictions, were presented to ChatGPT 4.0. In a scenario posing as a medical practitioner without any specialization, currently working in an emergency department in a rural hospital, and without any trauma or radiology specialist capable of evaluating the radiographic images, ChatGPT was asked to diagnose all x-rays, and then asked to confirm the diagnosis. Results: In only 43 (48.9%) of the 88 direct radiographs with fracture and instability findings, ChatGPT 4.0 was able to make a correct diagnosis, with a weak-to-minimal level of agreement between initial and confirmation answers. Furthermore, in 15 radiographs (17%), the fracture or instability was misdiagnosed as "solid," and in 30 radiographs (33.4%), while the presence of fracture or instability was detected, the definitive diagnosis was inaccurate. The pelvic ring and acetabular fractures that ChatGPT 4.0 correctly diagnosed at the highest rate were multiple fractures of the pelvic ring and acetabulum (80%), fractured dislocations of the acetabulum (72.7%), and isolated pubic ramus fractures (62.5%). ChatGPT 4.0 demonstrated the most inaccurate diagnostic performance for the following pelvic ring and acetabulum fractures, with a rate of 0%: femoral neck fractures, isolated iliac crest fractures, and vertically unstable pelvic ring injuries. Conclusion: In circumstances where there is a shortage of radiologists and orthopaedic specialists, such as in contexts where resources are limited or in rural emergency situations, reliance on AI-assisted chatbots such as ChatGPT 4.0 for fracture screening may result in diagnostic oversights or mismanagement. While the AI has been demonstrated to function as a supplementary tool to facilitate preliminary assessment, particularly in light of its optimal negative predictive value in non-fracture cases, its moderate false-negative rate (17%) necessitates a cautious approach.
Özet
Amaç: Bu çalışmanın amacı, uzman konsültasyonu veya üçüncü basamak sağlık hizmetleri kaynaklarının bulunmadığı durumlarda, pelvik halka ve asetabular kırıkların ön tanısında klinik ve radyolojik şüpheleri desteklemede yapay zeka destekli bir sohbet robotunun (ChatGPT 4.0) etkinliğini, doğruluğunu ve tutarlılığını değerlendirmektir. Gereç ve Yöntemler: Telif hakkı kısıtlamaları olmayan, pelvik veya peri-asetabular kırıklar veya instabilite gösteren 88 adet olmak üzere toplam 100 adet antero-posterior (AP) pelvis röntgen görüntüsü ChatGPT 4.0'a sunuldu. Herhangi bir uzmanlığı olmayan, şu anda kırsal bir hastanenin acil servisinde çalışan ve radyografik görüntüleri değerlendirebilecek herhangi bir travma veya radyoloji uzmanı bulunmayan bir tıp pratisyeni rolünde, ChatGPT'den tüm röntgenleri teşhis etmesi ve ardından teşhisi doğrulaması istendi. Bulgular: Kırık ve instabilite bulguları olan 88 direkt radyografinin sadece 43'ünde (%48,9) ChatGPT 4.0 doğru tanı koyabildi ve ilk yanıt ile onay yanıtı arasında zayıf ila minimal düzeyde bir uyum vardı. Ayrıca, 15 radyografide (%17) kırık veya instabilite “sağlam” olarak yanlış teşhis edildi ve 30 radyografide (%33,4) kırık veya instabilite varlığı tespit edilmesine rağmen kesin tanı yanlış çıktı. ChatGPT 4.0'ın en yüksek oranda doğru tanı koyduğu pelvik halka ve asetabulum kırıkları şunlardı: pelvik halka ve asetabulumda çoklu kırıklar (%80), asetabulumda kırık çıkıklar (%72,7) ve izole pubik ramus kırıkları (%62,5). ChatGPT 4.0, %0 oranıyla aşağıdaki pelvik halka ve asetabulum kırıkları için en yanlış tanı performansını gösterdi: femur boynu kırıkları, izole iliak kret kırıkları ve dikey olarak instabil pelvik halka yaralanmaları. Sonuç: Radyolog ve ortopedi uzmanlarının yetersiz olduğu durumlarda, örneğin kaynakların sınırlı olduğu ortamlarda veya kırsal acil durumlarda, kırık taraması için ChatGPT 4.0 gibi AI destekli sohbet robotlarına güvenmek, tanısal gözden kaçırmalara veya yanlış yönetime neden olabilir. AI'nın, özellikle kırık olmayan vakalarda optimal negatif prediktif değeri göz önüne alındığında, ön değerlendirmeyi kolaylaştırmak için tamamlayıcı bir araç olarak işlev gördüğü kanıtlanmış olsa da, orta düzeydeki yanlış negatif oranı (%17) dikkatli bir yaklaşım gerektirmektedir.