AI Summary & Key Takeaways
AI InsightHowever, when used for the initial step of diagnostic reasoning based on limited clinical information, these models may offer supportive value to clinicians, particularly when integrated into broader clinical decision-support systems.
📌 3 Key Takeaways
Abstract
Objective: This study aimed to compare the diagnostic performance of three large language model (LLM)-based artificial intelligence (AI) tools-ChatGPT-4, Gemini 2.0 Flash, and DeepSeek-V3-in supporting initial clinical decision-making using standardized clinical scenarios. Methods: A total of 36 clinical scenarios were selected based on diagnostic algorithms from the Guide to Diagnostic Tests (7th ed.), representing five major clinical domains. For each scenario, only the first decision step of the relevant diagnostic algorithm was assessed. All questions were presented in Turkish and entered once, using identical prompts, into the publicly available free versions of the three models. Responses were evaluated using a three-point categorical accuracy system (completely correct, partially correct, incorrect). Results: ChatGPT achieved the highest total score (40/72), followed by Gemini and DeepSeek (36/72 each); however, this difference was not statistically significant ( p >0.05). ChatGPT provided completely correct responses in 36.1% of scenarios, compared with 33.3% for Gemini and 22.2% for DeepSeek. Overlapping patterns of fully correct responses were observed between ChatGPT and Gemini, although this did not reach statistical significance ( p >0.05). Performance varied by category: Gemini excelled in electrolyte disorders, ChatGPT in infectious and systemic conditions, and DeepSeek showed parity only in endocrinology and hematology. Conclusion: While all models showed some diagnostic potential, none reached a level of accuracy sufficient to replace clinical judgment. However, when used for the initial step of diagnostic reasoning based on limited clinical information, these models may offer supportive value to clinicians, particularly when integrated into broader clinical decision-support systems.
Özet
Amaç: Bu çalışma, üç farklı büyük dil modeli (LLM) tabanlı yapay zeka aracının-ChatGPT-4, Gemini 2.0 Flash ve DeepSeek-V3-standardize edilmiş klinik senaryolar kullanarak başlangıç klinik karar verme sürecini desteklemedeki tanısal performanslarını karşılaştırmayı amaçlamıştır. Yöntem: Guide to Diagnostic Tests (7. baskı) kitabındaki tanı algoritmaları temel alınarak, beş ana klinik alanı temsil eden toplam 36 klinik senaryo seçilmiştir. Her bir senaryo için ilgili tanı algoritmasının yalnızca ilk karar basamağı değerlendirilmiştir. Tüm sorular Türkçe olarak sunulmuş; aynı istemler (prompt) kullanılarak modellerin halka açık ücretsiz sürümlerine birer kez girilmiştir. Yanıtlar; üçlü kategorik doğruluk sistemi (tamamen doğru, kısmen doğru, yanlış) kullanılarak analiz edilmiştir. Bulgular: ChatGPT en yüksek toplam puanı (40/72) alırken, onu Gemini ve DeepSeek (her biri 36/72) izlemiştir; ancak bu fark istatistiksel olarak anlamlı bulunmamıştır (p>0.05). ChatGPT senaryoların %36,1'inde tamamen doğru yanıtlar verirken, bu oran Gemini için %33,3 ve DeepSeek için %22,2 olarak gerçekleşmiştir. ChatGPT ve Gemini arasında tamamen doğru yanıtlarda örtüşen kalıplar gözlemlenmiş olsa da, bu durum istatistiksel anlamlılığa ulaşmamıştır (p>0.05). Performans kategorilere göre değişkenlik göstermiştir: Gemini elektrolit bozukluklarında, ChatGPT enfeksiyon ve sistemik durumlarda öne çıkmış; DeepSeek ise yalnızca endokrinoloji ve hematoloji alanlarında diğerleriyle benzerlik göstermiştir. Sonuç: Tüm modeller belirli bir tanısal potansiyel sergilese de, hiçbiri klinik muhakemenin yerini alacak yeterli doğruluk seviyesine ulaşamamıştır. Bununla birlikte, kısıtlı klinik bilgiye dayalı tanısal akıl yürütmenin ilk adımı için kullanıldıklarında, bu modeller - özellikle daha geniş klinik karar destek sistemlerine entegre edildiklerinde -klinisyenler için destekleyici bir değer sunabilir.