AI Summary & Key Takeaways
AI InsightFurther multicenter studies involving real patient data and multiple expert evaluations are needed before clinical implications can be established.
📌 3 Key Takeaways
Abstract
OBJECTIVE: The American Society of Anesthesiologists (ASA) Physical Status classification is widely used for preoperative risk assessment, but its subjective nature may lead to variability amog practitioners. This study evaluated the agreement of between large language model (LLM)–based artificial intelligence (AI) systems and a human anesthesiologist in ASA scoring. MATERIAL AND METHODS: One hundred simulated patient cases, balanced across ASA classes (I–V), were developed by two expert anesthesiologists. Five current LLMs (ChatGPT, Copilot, Grok, DeepSeek, and Gemini) assigned an ASA class for each case. Their scores were compared to those of an anesthesiologist with 15 years of experience. Statistical analysis included Friedman and Wilcoxon signed-rank tests with Bonferroni correction, and Cohen’s Kappa. RESULTS: The Friedman test revealed significant differences among the models (p < 0.001). Copilot showed the highest agreement with the anesthesiologist (Kappa = 0.82), followed by ChatGPT and Grok. Deepseek and Gemini demonstrated significantly lower agreement (p < 0.001). Misclassifications were predominantly observed between adjacent ASA classes, particularly between ASA II–III and ASA III–IV. CONCLUSIONS: Specific LLM-based AI systems, particularly Copilot and ChatGPT, demonstrated high agreement with expert opinion in ASA classification under controlled and simulated conditions. This study is based on simulated cases, and the findings should be considered hypothesis-generating. Further multicenter studies involving real patient data and multiple expert evaluations are needed before clinical implications can be established.
Özet
AMAÇ: Amerikan Anesteziyologlar Derneği (ASA) Fiziksel Durum sınıflaması, preoperatif risk değerlendirmesinde yaygın olarak kullanılmaktadır. Ancak öznel yapısı, uygulayıcılar arasında farklılıklara yol açabilmektedir. Bu çalışmada, büyük dil modeli (LLM) tabanlı yapay zeka sistemlerinin ASA skorlamasında deneyimli bir anesteziyolog ile uyumu değerlendirildi. GEREÇ VE YÖNTEM: ASA sınıflarını (I–V) dengeli şekilde temsil eden 100 simüle hasta vakası, iki uzman anesteziyolog tarafından oluşturuldu. Beş güncel LLM (ChatGPT, Copilot, Grok, Deepseek, Gemini) her bir vaka için ASA sınıfı belirledi. Sonuçlar, 15 yıllık deneyime sahip bir anesteziyoloğun skorları ile karşılaştırıldı. İstatistiksel analizde Friedman ve Wilcoxon signed-rank testleri (Bonferroni düzeltmesi ile) ve Cohen’s Kappa katsayıları kullanıldı. BULGULAR: Friedman testi modeller arasında anlamlı farklılık gösterdi (p < 0,001). Copilot, anesteziyoloğun skorları ile en yüksek uyumu sağladı (Kappa = 0,82), onu ChatGPT ve Grok izledi. Deepseek ve Gemini’nin uyumu anlamlı derecede düşüktü (p < 0,001). Hatalı sınıflandırmalar çoğunlukla komşu ASA sınıfları arasında görüldü (özellikle ASA II–III ve ASA III–IV). SONUÇ: Copilot ve ChatGPT gibi bazı LLM tabanlı yapay zeka sistemleri, ASA sınıflamasında uzman görüşü ile yüksek uyum göstermektedir. Bununla birlikte, çalışma simüle vakalara dayanmakta olup sonuçlar hipotez üretici niteliktedir. Klinik kullanıma yönelik çıkarımlar için çok merkezli, gerçek hasta verilerine dayalı ve çoklu uzman değerlendirmelerini içeren ileri çalışmalara ihtiyaç vardır.