AI Summary & Key Takeaways
AI InsightAdjusting AI-generated content to match the target audience’s literacy level and delivering it under expert supervision is essential for optimizing patient education and communication.
📌 3 Key Takeaways
Abstract
Aim: This study aimed to compare the accuracy, completeness, and readability of responses generated by three different artificial intelligence (AI) models—ChatGPT-3.5, DeepSeek-R1, and Gemini-2.5—to popular patient questions about osteoarthritis (OA). Methods: Twelve patient-focused OA questions obtained from Google Trends were presented to each AI model. Responses were evaluated by an orthopedic surgeon and a rheumatologist for accuracy (1–6 points), completeness (1–3 points), and Flesch Reading Ease Score (FRES). Statistical analyses included the Friedman test and Cohen’s kappa coefficient. Results: Mean accuracy scores were 5.83 ± 0.39 for ChatGPT, 5.67 ± 0.49 for DeepSeek, and 5.75 ± 0.45 for Gemini (p = 0.472). Mean completeness scores were 2.75 ± 0.45, 2.58 ± 0.51, and 2.75 ± 0.45, respectively (p = 0.449). Inter-rater agreement was excellent, with kappa values of 0.90 for accuracy and 0.88 for completeness (both p<0.001). Readability scores were 47.2 (“very difficult”) for ChatGPT, 27.9 (“very difficult”) for DeepSeek, and 55.8 (“difficult”) for Gemini. Qualitative analysis revealed that ChatGPT and DeepSeek tended to provide more extensive and detailed information than requested, while Gemini provided shorter, more direct answers. Conclusion: AI models can deliver high levels of accuracy and completeness when answering OA-related patient questions. However, the lower readability of ChatGPT and DeepSeek outputs may limit accessibility for individuals with low health literacy. Adjusting AI-generated content to match the target audience’s literacy level and delivering it under expert supervision is essential for optimizing patient education and communication.
Özet
Amaç: Bu çalışma, osteoartrit (OA) ile ilgili popüler hasta sorularına üç farklı yapay zekâ (YZ) modelinin (ChatGPT-3.5, DeepSeek-R1 ve Gemini-2.5) verdiği yanıtların doğruluk, tamlık ve okunabilirlik açısından karşılaştırılmasını amaçlamaktadır. Yöntem: Google Trends verilerinden elde edilen OA ile ilgili 12 hasta odaklı soru, üç YZ modeline yöneltildi. Yanıtlar, bir ortopedi ve bir romatoloji uzmanı tarafından doğruluk (1-6 puan), tamlık (1-3 puan) ve Flesch Okuma Kolaylığı puanı (FRES) açısından değerlendirildi. İstatistiksel analizlerde Friedman testi ve Cohen’in kappa katsayısı kullanıldı. Bulgular: Ortalama doğruluk puanları ChatGPT için 5,83 ± 0,39, DeepSeek için 5,67 ± 0,49, Gemini için 5,75 ± 0,45 olarak bulundu (p = 0,472). Ortalama tamlık puanları sırasıyla 2,75 ± 0,45, 2,58 ± 0,51 ve 2,75 ± 0,45 idi (p = 0,449). Değerlendiriciler arası uyum doğruluk için 0,90, tamlık için 0,88 olarak saptandı (her ikisi p<0,001). Okunabilirlik puanları ChatGPT için 47,2 (“çok zor”), DeepSeek için 27,9 (“çok zor”), Gemini için 55,8 (“zor”) idi. Nitel analizde, ChatGPT ve DeepSeek’in talep edilenden fazla ve ayrıntılı bilgi sunma eğiliminde olduğu, Gemini’nin ise daha kısa ve doğrudan yanıtlar verdiği belirlendi. Sonuç: YZ modelleri OA ile ilgili yüksek doğruluk ve tamlık düzeyinde bilgi sunabilmektedir. Ancak ChatGPT ve DeepSeek’in okunabilirlik düzeyi düşük sağlık okuryazarlığı olan bireyler için yetersiz olabilir. Bu nedenle, YZ çıktılarının hedef kitleye uygun dilde düzenlenerek, uzman denetimi ile sunulması hasta eğitimi ve bilgilendirme süreçlerinde kritik öneme sahiptir.