AI Summary & Key Takeaways
AI InsightEnhancing native-language training, improving reference validation systems, and integrating physician supervision are essential to optimise AI-supported healthcare.
📌 3 Key Takeaways
Abstract
Background The use of generative large language models (LLMs) in healthcare is rapidly increasing, offering easier access to medical information. However, comprehensive data on their multilingual accuracy and the reliability of cited scientific references remain limited. This study aimed to compare the response accuracy and reference quality of three free LLMs (ChatGPT, Google Gemini, DeepSeek) in Turkish and English using common pregnancy-related questions. Methods In this comparative observational study, 14 frequently asked pregnancy questions were posed to each LLM in Turkish and English, requesting responses supported by up-to-date scientific web sources. Answers were evaluated blindly by obstetricians and gynaecologists for accuracy. References were independently assessed for reliability, scientific validity, and accessibility. Statistical analyses were performed. Results Language and model infrastructure significantly influenced performance. Google Gemini and DeepSeek provided more accurate responses in English than in Turkish (p<0.05), while ChatGPT showed no language-based accuracy difference. In English, Gemini and DeepSeek were more accurate than ChatGPT (p<0.05); in Turkish, no significant difference was observed. ChatGPT demonstrated the highest rate of “perfect references” in both Turkish (78.5%) and English (71.4%). Conclusions LLMs may provide general pregnancy information but have important limitations in language performance and reference reliability. Their standalone use in clinical decision-making is not appropriate. Enhancing native-language training, improving reference validation systems, and integrating physician supervision are essential to optimise AI-supported healthcare.
Özet
Amaç Sağlık alanında üretken büyük dil modellerinin (LLM) kullanımı hızla artmaktadır. Ancak çok dilli doğrulukları ve sundukları bilimsel referansların güvenilirliği hakkında kapsamlı veri sınırlıdır. Bu çalışma, üç ücretsiz LLM’nin (ChatGPT, Google Gemini, DeepSeek) Türkçe ve İngilizce gebelik sorularındaki yanıt doğruluğunu ve referans kalitesini karşılaştırmayı amaçladı. Yöntem Karşılaştırmalı gözlemsel çalışmada, klinikte sık karşılaşılan 14 gebelik sorusu her modele Türkçe ve İngilizce olarak yöneltildi ve güncel bilimsel web kaynaklarıyla yanıt vermeleri istendi. Yanıtlar modeli bilmeden kadın hastalıkları ve doğum uzmanları tarafından doğruluk açısından değerlendirildi. Referanslar ayrı bir ekip tarafından güvenilirlik ve bilimsel geçerlilik açısından incelendi. İstatistiksel analiz yapıldı. Bulgular Dil ve model altyapısının performansı anlamlı şekilde etkilediği görüldü. Google Gemini ve DeepSeek İngilizce sorularda Türkçe’ye göre daha yüksek doğruluk gösterdi (p<0.05). ChatGPT’de dil bazlı fark saptanmadı. İngilizce sorularda Gemini ve DeepSeek, ChatGPT’den daha doğruydu (p<0.05); Türkçe sorularda anlamlı fark yoktu. Referans güvenilirliği açısından ChatGPT her iki dilde de en yüksek “mükemmel referans” oranına sahipti (Türkçe %78.5, İngilizce %71.4). Sonuç LLM’ler gebelik hakkında genel bilgi sunabilir; ancak dil yeterliliği ve referans güvenilirliği açısından önemli sınırlılıkları vardır. Klinik karar gerektiren durumlarda tek başına kullanımları uygun değildir. Ana dil odaklı eğitim, referans doğrulama sistemlerinin güçlendirilmesi ve hekim denetiminin entegrasyonu gereklidir.