AI Summary & Key Takeaways
AI InsightAlthough the overall risk rate is relatively low, the presence of potentially misleading content underscores the need for clinician oversight when such tools are used for patient education.
📌 3 Key Takeaways
Abstract
Abstract Aim: Large language models such as ChatGPT are increasingly used by patients to obtain perioperative information. Given the complexity and potential risks associated with anesthetic management, the accuracy and safety of such information are of critical importance. This study aimed to evaluate the quality and potential clinical risks of ChatGPT-generated responses to anesthesia-related questions using a structured scoring system. Materials and Methods: A total of 100 anesthesia-related questions were evaluated, including 50 guideline-derived questions and 50 frequently asked public questions. All questions were submitted to the ChatGPT-4 model in Turkish using the premium version. Responses were independently evaluated by three anesthesiology specialists using the Global Quality Score (GQS; 1–5). In addition, each response was assessed for the presence of potentially harmful or misleading information. Comparisons were conducted between question categories. Results: The median Global Quality Score (GQS) differed significantly between question types, with higher scores observed for frequently asked questions than for guideline-based questions (4 [IQR: 3–5] vs. 3 [IQR: 2–4], p < 0.001). Potentially harmful or misleading information was identified in 7% of responses and was more frequent in guideline-based questions than in frequently asked questions (12% vs. 2%, p = 0.02). Conclusion: ChatGPT provides high-quality and comprehensible responses to general anesthesia-related questions. However, its performance declines in guideline-based, clinically critical topics. Although the overall risk rate is relatively low, the presence of potentially misleading content underscores the need for clinician oversight when such tools are used for patient education. Keywords: ChatGPT; anesthesiology; artificial intelligence; patient education; global quality score
Özet
Özet Amaç: Büyük dil modelleri (Large Language Models) son yıllarda hastaların tıbbi bilgiye erişiminde giderek daha sık kullanılmaktadır. Ancak anestezi uygulamalarının karmaşıklığı ve potansiyel riskleri göz önüne alındığında, bu sistemlerin sunduğu bilgilerin doğruluğu ve güvenliği büyük önem taşımaktadır. Bu çalışmada ChatGPT’nin anestezi ile ilgili hasta sorularına verdiği yanıtların kalitesi ve olası klinik riskleri değerlendirilmesi amaçlanmıştır. Gereç ve Yöntem: Bu gözlemsel kesitsel çalışmada toplam 100 anestezi ile ilişkili soru değerlendirilmiştir. Soruların 50’si uluslararası anestezi kılavuzlarından türetilmiş, 50’si ise internet ortamında sık sorulan hasta sorularından oluşturulmuştur. Tüm sorular ChatGPT-4 modeline Türkçe olarak yöneltilmiştir. Elde edilen yanıtlar üç anesteziyoloji uzmanı tarafından bağımsız olarak Global Quality Score (GQS; 1–5) kullanılarak değerlendirilmiştir. Ayrıca yanıtlarda potansiyel olarak zararlı veya yanıltıcı bilgi bulunup bulunmadığı analiz edilmiştir. Bulgular: Sık sorulan sorular için elde edilen yanıtların kalite skorlarının, kılavuz temelli sorulara kıyasla daha yüksek olduğu saptanmıştır. Yüksek kaliteli yanıt oranı (GQS ≥4) sık sorulan sorularda %76 iken kılavuz temelli sorularda %42 olarak bulunmuştur. Potansiyel olarak zararlı veya yanıltıcı içerik toplam yanıtların %7’sinde tespit edilmiş olup bu oran kılavuz temelli sorularda daha yüksek bulunmuştur (%12 vs. %2, p = 0.02). Değerlendiriciler arası uyum analizi yüksek düzeyde güvenilirlik göstermiştir (ICC = 0.88). Sonuç: ChatGPT genel anestezi ile ilgili sık sorulan sorulara anlaşılabilir ve yüksek kaliteli yanıtlar sunabilmektedir. Ancak kılavuz temelli ve klinik açıdan kritik konularda yanıt kalitesinin azaldığı görülmektedir. Bu nedenle yapay zeka tabanlı sistemlerin hasta bilgilendirmesinde yardımcı araçlar olarak kullanılabileceği, ancak klinisyen rehberliği olmadan tek başına güvenilir bir bilgi kaynağı olarak değerlendirilmemesi gerektiği düşünülmektedir. Anahtar Kelimeler: ChatGPT; anesteziyoloji; yapay zeka; hasta eğitimi; global kalite skoru