AI Summary & Key Takeaways
AI InsightTherefore, the content generated by ChatGPT should be considered a complementary resource and should be critically examined by users.
📌 3 Key Takeaways
Abstract
Objective: The aim of this study is to evaluate the quality and readability of patient education materials about fibromyalgia generated by ChatGPT to assess whether this AI application can be reliably used as an online health information source for the general population. Materials and Methods: In this study, Google Trends was used to identify the most frequently searched keywords related to fibromyalgia. The identified keywords were categorized into three groups: general information, diagnosis, and treatment, and were sequentially entered into ChatGPT. The quality of the generated responses was assessed using the modified DISCERN (mDISCERN) tool. The readability of the texts was evaluated using the Flesch - Kincaid Grade Level (FKGL) and Flesch - Kincaid Reading Ease (FRE) parameters. Results: The mean mDISCERN score of the texts was 44.31±4.67, the mean FKGL score was 15.29±2.29, and mean FRE score was 24.23±10.27. The average mDISCERN score indicated that the texts were of moderate quality. According to the mean Flesch - Kincaid scores, the texts were found to be quite difficult to read and were mostly appropriate for readers at the undergraduate level or higher. Furthermore, the statistical analysis among the three categories revealed no significant differences in mDISCERN, FKGL, and FKRE scores. Conclusion: AI language models like ChatGPT hold innovative potential in healthcare communication by providing accessible and unbiased information that can support health literacy and patient education. However, the high level of reading comprehension required currently limits their effectiveness and reliability for direct patient use. Therefore, the content generated by ChatGPT should be considered a complementary resource and should be critically examined by users.
Özet
Amaç: Bu çalışmanın amacı, ChatGPT tarafından fibromiyalji hakkında oluşturulan hasta eğitim materyallerinin kalitesini ve okunabilirliğini değerlendirmek ve bu yapay zeka uygulamasının genel popülasyon için güvenilir bir çevrimiçi sağlık bilgi kaynağı olarak kullanılıp kullanılamayacağını değerlendirmektir. Gereç ve Yöntemler: Çalışmada, fibromiyalji ile ilgili en sık aranan anahtar kelimeler Google Trendler kullanılarak belirlendi. Belirlenen anahtar kelimeler genel bilgi, tanı ve tedavi olmak üzere üç gruba ayrıldı ve sırayla ChatGPT'ye girildi. Oluşturulan yanıtların kalitesi, modifiye edilmiş DISCERN (mDISCERN) aracı kullanılarak değerlendirildi. Metinlerin okunabilirliği, Flesch - Kincaid Sınıf Düzeyi (FKGL) ve Flesch - Kincaid Okuma Kolaylığı (FRE) parametreleri kullanılarak değerlendirildi. Bulgular: Metinlerin ortalama mDISCERN puanı 44.31±4.67, ortalama FKGL puanı 15.29±2.29 ve ortalama FRE puanı 24.23±10.27 olarak bulundu. Ortalama mDISCERN puanı, metinlerin orta kalitede olduğunu gösterdi. Ortalama Flesch - Kincaid skorlarına göre, metinlerin oldukça zor okunabilir olduğu ve çoğunlukla lisans düzeyi veya üzeri okuma becerisi gerektirdiği belirlendi. Ayrıca, üç kategori arasındaki istatistiksel analiz, mDISCERN, FKGL ve FKRE puanlarında anlamlı bir fark ortaya koymadı. Sonuç: Özetle, ChatGPT gibi yapay zekâ dil modelleri, sağlık iletişiminde erişilebilir ve tarafsız bilgi sunarak sağlık okuryazarlığını ve hasta eğitimini destekleme açısından yenilikçi bir potansiyele sahiptir. Ancak, yüksek düzeyde okuma - anlama becerisi gerektirmesi, doğrudan hasta kullanımı açısından etkinliğini ve güvenilirliğini sınırlamaktadır. Bu nedenle, ChatGPT tarafından üretilen içerikler tamamlayıcı bir kaynak olarak değerlendirilmelidir ve kullanıcılar tarafından eleştirel biçimde incelenmelidir.