AI Summary & Key Takeaways
AI InsightFuture studies should focus on improving artificial intelligence models’ reference accuracy to enhance their applicability in healthcare settings.
📌 3 Key Takeaways
Abstract
Aim: This study aims to evaluate the accuracy of ChatGPT’s responses to clinical questions related to Cerebral Palsy (CP) and Autism Spectrum Disorder (ASD) in the field of occupational therapy, as well as the reliability of the references it provides. Method: Ten clinical questions were formulated, and answers were prepared based on clinical guidelines and reviewed by two expert clinicians. The same questions were presented to ChatGPT, and its responses and references were rated by two independent evaluators using a four-point Likert scale. Weighted Kappa Coefficients were calculated to assess inter-rater agreement. Results: ChatGPT’s responses demonstrated high accuracy, with strong inter-rater agreement (Weighted Kappa: 0.72–0.75). However, significant deficiencies were identified in reference reliability, with moderate to high inter-rater agreement (Weighted Kappa: 0.75–0.78). Additionally, fictitious reference rates ranged from 40% to 100% for CP-related questions and from 25% to 100% for ASD-related questions. Conclusion: While ChatGPT shows potential as a clinical decision support tool in occupational therapy, the limitations in reference accuracy restrict its reliability in healthcare applications. Future studies should focus on improving artificial intelligence models’ reference accuracy to enhance their applicability in healthcare settings.
Özet
Amaç: Bu çalışmanın amacı, Ergoterapi alanında Serebral Palsi (SP) ve Otizm Spektrum Bozukluğu (OSB) ile ilgili klinik sorulara ChatGPT’nin verdiği yanıtların doğruluğunu ve sağladığı kaynakların güvenilirliğini değerlendirmektir. Yöntem: On klinik soru oluşturulmuş, yanıtlar klinik rehberlere dayalı olarak hazırlanmış ve iki uzman klinisyen tarafından gözden geçirilmiştir. Aynı sorular ChatGPT’ye yöneltilmiş, yanıtları ve kaynakları iki bağımsız değerlendirici tarafından dört dereceli Likert ölçeği ile puanlanmıştır. Değerlendiriciler arası uyumu belirlemek için Ağırlıklı Kappa Katsayıları hesaplanmıştır. Bulgular: ChatGPT’nin yanıtları yüksek doğruluk göstermiş ve değerlendiriciler arası güçlü uyum saptanmıştır (Ağırlıklı Kappa: 0,72–0,75). Ancak, kaynak güvenilirliğinde önemli eksiklikler bulunmuş olup, değerlendiriciler arası uyum orta-yüksek düzeydeydi (Ağırlıklı Kappa: 0,75–0,78). Ayrıca, hayali kaynak oranları SP ile ilgili sorularda %40–100, OSB ile ilgili sorularda %25–100 arasında değişmiştir. Sonuç: ChatGPT, ergoterapi alanında klinik karar destek aracı olarak potansiyel göstermektedir; ancak kaynak doğruluğundaki sınırlılıklar, sağlık hizmetlerindeki güvenilirliğini kısıtlamaktadır. Gelecek çalışmalarda, yapay zekâ modellerinin kaynak doğruluğunun geliştirilmesine odaklanılması, sağlık alanındaki uygulanabilirliklerini artıracaktır.