Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightBulgular: ATLS sınavında Gemini 2.5 Pro %95.8, ChatGPT-5 %92.9 ve asistan hekimler %67.1 genel doğruluk oranı elde etti.
📌 3 Maddede Bu Makale
Özet
Öz Amaç: Bu çalışmada, güncel büyük dil modellerinden (LLM) Gemini 2.5 Pro ve ChatGPT-5'in İleri Travma Yaşam Desteği (ATLS) sınavındaki doğruluk ve tutarlılık performanslarının değerlendirilmesi, bu iki yapay zeka (AI) modelinin acil tıp asistan hekimleriyle karşılaştırılması ve farklı soru tiplerindeki başarılarının incelenmesi amaçlanmıştır. Gereç ve Yöntem: Bu gözlemsel çalışmada, 40 çoktan seçmeli sorudan oluşan 2023 ATLS sınavı kullanıldı. Sorular, direk temel bilgi ve senaryo bazlı olarak sınıflandırıldı. Her bir soru, yanıt istikrarını ölçebilmek için Gemini 2.5 Pro ve ChatGPT-5'e altışar kez, altı acil tıp asistanına ise birer kez yöneltildi. Tüm sınav katılımcılarının doğruluk oranları hesaplandı ve birbiriyle karşılaştırıldı. Bulgular: ATLS sınavında Gemini 2.5 Pro %95.8, ChatGPT-5 %92.9 ve asistan hekimler %67.1 genel doğruluk oranı elde etti. AI modellerinin performansı, asistan hekimlerden istatistiksel olarak anlamlı düzeyde yüksek bulundu (p < 0.001). Gemini ve ChatGPT'nin sınav performansları arasında ise anlamlı bir fark saptanmadı (p = 0.17). Her iki model de bilgi sorularına kıyasla senaryo bazlı sorularda daha düşük doğruluk gösterdi. AI modellerinin tekrarlanan sınavlardaki yanıt tutarlılığı ise orta düzeyde bulundu. Sonuç: Hem Gemini 2.5 Pro hem de ChatGPT-5, ATLS sınavını asistan hekimlerden daha yüksek bir başarı oranıyla ve tutarlı bir performans sergileyerek geçmiştir. Bu bulgular, LLM'lerin travma eğitiminde, bilgiye hızlı erişim sağlamada ve potansiyel olarak klinik karar destek mekanizmalarında yardımcı bir araç olarak önemli bir potansiyele sahip olduğunu göstermektedir.
Abstract
Abstract Objective: This study aimed to evaluate the accuracy and consistency performance of the current large language models (LLMs), Gemini 2.5 Pro and ChatGPT-5, on the Advanced Trauma Life Support (ATLS) exam. It also aimed to compare these two artificial intelligence (AI) models with emergency medicine residents and examine their performance on different question types. Materials and Methods: This observational study used the 2023 ATLS exam, consisting of 40 multiple-choice questions. Questions were categorized as either directly based on basic knowledge or scenario-based. Each question was administered six times to Gemini 2.5 Pro and ChatGPT-5, and once to six emergency medicine residents to measure response consistency. The accuracy rates for all examinees were calculated and compared. Results: On the ATLS exam, Gemini 2.5 Pro achieved an overall accuracy rate of 95.8%, ChatGPT-5 achieved 92.9%, and residents achieved 67.1%. The AI models performed significantly better than residents (p < 0.001). No significant difference was found between the exam performances of Gemini and ChatGPT (p = 0.17). Both models showed lower accuracy on scenario-based questions compared to knowledge questions. The AI models' response consistency across repeated exams was found to be moderate. Conclusion: Both Gemini 2.5 Pro and ChatGPT-5 passed the ATLS exam with a higher success rate and consistent performance than residents. These findings demonstrate the significant potential of LLMs as a tool for assisting in trauma education, providing rapid access to information, and potentially in clinical decision support mechanisms.