AI Summary & Key Takeaways
AI InsightResults: The overall accuracy of the EMS personnel was 65.1%, whereas the highest accuracy was observed with GPT-o3 (96.9%).
📌 3 Key Takeaways
Abstract
Objective: Carbon monoxide (CO) poisoning requires rapid identification and timely decisions regarding the need for hyperbaric oxygen therapy (HBOT) to improve clinical outcomes. This study aimed to compare the decision-making performance of emergency medical services (EMS) personnel and large language models (LLMs) in accurately determining the need for HBOT during the prehospital phase of CO poisoning cases, and to explore the potential implementation of LLMs as decision-support tools for patient triage and referral. Material and Methods: In this prospective, simulation-based diagnostic accuracy study, 128 standardized scenario-based clinical cases (64 requiring HBOT, 64 not requiring HBOT) were developed based on established indications. Sixty EMS personnel and five LLMs (GPT-4o, GPT-4.5, GPT-o3, Gemini 2.5 Pro, and DeepSeek-R1) evaluated each scenario. Their responses were compared with the gold standard answers established by consensus between a medical toxicologist and a hyperbaric medicine specialist. Results: The overall accuracy of the EMS personnel was 65.1%, whereas the highest accuracy was observed with GPT-o3 (96.9%). All LLMs demonstrated 100% sensitivity, although the specificity varied, ranging from 26.6% (GPT-4.5) to 93.8% (GPT-o3). The accuracy of GPT-o3 (96.9%, p<0.001), GPT-4o (78.9%, p=0.001), and Gemini 2.5 Pro (75.8%, p=0.012) was significantly higher than that of the EMS personnel. GPT-o3 also significantly outperformed all other models (all p<0.001). Conclusion: Our study suggests that LLMs can support prehospital decision-making, facilitating timely referral to appropriate centers, improving early access to HBOT, and potentially enhancing outcomes. However, these findings are based on standardized simulation scenarios, and real-world clinical validation is necessary before widespread implementation.
Özet
Amaç: Karbonmonoksit (CO) zehirlenmesi, klinik sonuçları iyileştirmek için hızlı tanımlama ve hiperbarik oksijen tedavisi (HBOT) ihtiyacına yönelik zamanında karar verilmesini gerektirir. Bu çalışma, CO zehirlenmesi vakalarında hastane öncesi evrede HBOT ihtiyacının doğru şekilde belirlenmesinde acil sağlık hizmetleri (ASH) personeli ile büyük dil modellerinin (LLM) karar verme performansını karşılaştırmayı ve LLM'lerin hasta triyajı ve sevkinde karar destek aracı olarak kullanım potansiyelini kullanımını araştırmayı amaçlamıştır. Gereç ve Yöntemler: Bu prospektif ve simülasyon temelli tanısal doğruluk çalışmasında, yerleşik endikasyonlara dayalı olarak 128 standart vaka temelli klinik senaryo (64'ü HBOT gerektiren, 64'ü gerektirmeyen) geliştirildi. Altmış ASH personeli ve beş LLM (GPT-4o, GPT-4.5, GPT-o3, Gemini 2.5 Pro ve DeepSeek-R1) her bir senaryoyu değerlendirdi. Katılımcıların yanıtları, bir tıbbi toksikolog ve bir hiperbarik tıp uzmanı arasındaki fikir birliği ile oluşturulan altın standart cevaplarla karşılaştırıldı. Bulgular: ASH personelinin genel doğruluk oranı %65,1 iken, en yüksek doğruluk oranı GPT-o3 modelinde (%96,9) gözlemlenmiştir. Tüm LLM'ler %100 duyarlılık göstermekle birlikte özgüllük oranları %26,6 (GPT-4.5) ile %93,8 (GPT-o3) arasında değişmiştir. GPT-o3 (%96,9, p<0,001), GPT-4o (%78,9, p=0,001) ve Gemini 2.5 Pro (%75,8, p=0,012) modellerinin doğruluk oranları ASH personeline kıyasla istatistiksel olarak anlamlı düzeyde yüksek bulunmuştur. Ayrıca GPT-o3, diğer tüm modellerden anlamlı derecede daha iyi performans göstermiştir (tümü için p<0,001). Sonuç: Çalışmamız, LLM'lerin hastane öncesi karar verme süreçlerini destekleyebileceğini, uygun merkezlere zamanında sevki kolaylaştırabileceğini, HBOT'ye erken erişimi artırabileceğini ve potansiyel olarak klinik sonuçları iyileştirebileceğini öne sürmektedir. Bununla birlikte, bu bulgular standart simülasyon senaryolarına dayanmaktadır ve yaygın uygulama öncesinde gerçek dünya klinik doğrulamasının yapılması gerekmektedir.