AI Summary & Key Takeaways
AI InsightChatbots should complement, not replace, official e-Nabız guidance.
📌 3 Key Takeaways
Abstract
This study evaluated four widely used large language models—ChatGPT, Claude, Gemini, and DeepSeek—as patient-information tools for e-Nabız, the national personal health record system of Türkiye, and tested whether their answers were reproducible one week apart. Thirty authentic patient questions spanning seven e-Nabız domains were submitted to each model in Turkish and English, in fresh sessions with default settings, and the protocol was repeated after one week (480 responses). A dated copy of the official e-Nabız User Guide served as the gold standard, and responses were scored blind for accuracy, completeness, the Global Quality Score, coverage, and safety, with readability computed using the Flesch, Flesch–Kincaid, Ateşman, and Bezirci–Yılmaz formulas. Model performance differed significantly in both languages, with Claude and Gemini outperforming ChatGPT and DeepSeek; two models performed better in Turkish. All models wrote above recommended reading levels, and although aggregate quality was stable between rounds, individual answers were substantially reworded and sometimes materially changed. Chatbots should complement, not replace, official e-Nabız guidance.
Özet
Bu çalışma, yaygın olarak kullanılan dört büyük dil modelinin—ChatGPT, Claude, Gemini ve DeepSeek—Türkiye’nin ulusal kişisel sağlık kaydı sistemi e-Nabız’a ilişkin hasta sorularını hasta bilgilendirme aracı olarak yanıtlamadaki performansını ve bu yanıtların bir hafta arayla tekrarlanabilirliğini değerlendirmiştir. Yedi e-Nabız alanını kapsayan 30 gerçek hasta sorusu, her modele Türkçe ve İngilizce olarak, varsayılan ayarlarla ve yeni oturumlarda yöneltilmiş; protokol bir hafta sonra tekrarlanmıştır (toplam 480 yanıt). Altın standart olarak resmi e-Nabız Kullanım Kılavuzu kullanılmış; yanıtlar model kimliğine kör biçimde doğruluk, eksiksizlik, Global Kalite Skoru, kapsam ve güvenlik açısından puanlanmış, okunabilirlik Flesch, Flesch–Kincaid, Ateşman ve Bezirci–Yılmaz formülleriyle hesaplanmıştır. Model performansı her iki dilde de anlamlı biçimde farklılaşmış; Claude ve Gemini, ChatGPT ve DeepSeek’i geride bırakmış, iki model Türkçede daha iyi performans göstermiştir. Tüm modeller önerilen okunabilirlik düzeyinin üzerinde metin üretmiş; turlar arasında toplam kalite değişmezken bireysel yanıtlar büyük ölçüde yeniden ifade edilmiş ve zaman zaman içerik olarak değişmiştir. Sohbet botları resmi e-Nabız rehberliğinin yerine değil, tamamlayıcısı olarak konumlandırılmalıdır.