AI Summary & Key Takeaways
AI InsightThese findings underscore the need for standardization and oversight in the production of digital health content.
📌 3 Key Takeaways
Abstract
Aim: This study aimed to evaluate the quality, reliability and estimated artificial intelligence contribution of online information related to multiple sclerosis treatment. Material and Methods: The first 100 Google search results for "multiple sclerosis treatment" were screened. Video content, PDF documents, and inaccessible websites were excluded from the analysis. A total of 84 eligible web pages were assessed. Each page was categorized by source type (hospital, individual physician, blog, physiotherapy center, or association). Quality was evaluated using the DISCERN and JAMA benchmarks. Estimated artificial intelligence involvement was assessed using Turnitin's AI writing detection tool. Results: Of the analyzed content, 52.4% (n=44) originated from hospital websites, followed by individual physician websites (22.6%, n=19), blogs (14.3%, n=12), physiotherapy centers (6.0%, n=5), and associations (4.8%, n=4). The mean DISCERN score was 3.38 ± 0.72, indicating moderate-to-high reliability, while the mean JAMA score was 2.03 ± 0.85, highlighting limitations in authorship and source transparency. Varying levels of estimated artificial intelligence involvement were identified across the analyzed websites. Notably, individual physician websites demonstrated higher estimated artificial intelligence involvement (61.8%) than hospital websites (49.9%), with a statistically significant difference (p = 0.039). However, no significant differences were observed among website types regarding DISCERN and JAMA scores (p=0.724, p=0.336). Conclusion: Online information on multiple sclerosis treatment exhibits moderate reliability, with varying levels of estimated artificial intelligence involvement, particularly among individual healthcare providers. These findings underscore the need for standardization and oversight in the production of digital health content.
Özet
Amaç: Bu çalışmada, multipl skleroz tedavisi ile ilgili çevrimiçi bilgilerin kalite, güvenilirlik ve tahmini yapay zekâ katkısı açısından değerlendirilmesi amaçlandı. Gereç ve Yöntemler: “Multipl skleroz tedavisi” anahtar kelimesi kullanılarak Google arama motorunda elde edilen ilk 100 sonuç incelendi. Video içerikleri, PDF dokümanları ve erişilemeyen web siteleri çalışma dışı bırakıldı. Toplam 84 uygun web sayfası analize dahil edildi. Her sayfa kaynak türüne göre; hastane, bireysel hekim, blog, fizyoterapi merkezi veya dernek olarak sınıflandırıldı. İçerik kalitesi DISCERN ve JAMA ölçütleri kullanılarak değerlendirildi. Tahmini yapay zekâ katkısı Turnitin yapay zekâ yazım tespit aracı kullanılarak değerlendirildi. Bulgular: İncelenen içeriklerin %52,4’ü (n=44) hastane web sitelerinden, %22,6’sı (n=19) bireysel hekim sitelerinden, %14,3’ü (n=12) bloglardan, %6,0’ı (n=5) fizyoterapi merkezlerinden ve %4,8’i (n=4) derneklerden oluşmaktaydı. Ortalama DISCERN skoru 3,38 ± 0,72 olup orta-yüksek düzeyde güvenilirliğe işaret ederken, ortalama JAMA skoru 2,03 ± 0,85 olarak bulundu ve yazarlık ile kaynak şeffaflığı açısından sınırlılıklar olduğunu gösterdi. İncelenen web sitelerinde değişen oranlarda tahmini yapay zekâ katkısı saptandı. Özellikle bireysel hekim web sitelerinde yapay zekâ katkısı (%61,8), hastane web sitelerine kıyasla (%49,9) anlamlı derecede daha yüksekti (p = 0,039). Bununla birlikte, web sitesi türleri arasında DISCERN ve JAMA skorları açısından anlamlı farklılık izlenmedi (p=0.724, p=0.336). Sonuç: Multipl skleroz tedavisine ilişkin çevrimiçi bilgiler orta düzeyde güvenilirlik göstermekte olup, tahmini yapay zekâ katkısının özellikle bireysel hekim web sitelerinde daha yüksek olduğu görülmüştür. Bu bulgular, dijital sağlık içeriklerinin üretiminde standardizasyon ve denetim gereksinimini ortaya koymaktadır.