AI Summary & Key Takeaways
AI InsightConversational AI may support HoLEP patient education, but clinician review, simplification, and guideline-based verification remain necessary.
📌 3 Key Takeaways
Abstract
Objective: To compare the quality, guideline concordance, and readability of HoLEP-related patient education responses generated by ChatGPT, Gemini, and Claude. Materials and Methods: Thirty standardized patient questions on holmium laser enucleation of the prostate (HoLEP) were submitted independently to three conversational AI platforms, generating 90 responses. Response quality was evaluated using the 16-item DISCERN instrument, and clinical accuracy was assessed with question-specific four-item guideline-concordance checklists. Readability was measured using seven validated formulas. Platform differences were analyzed using the Friedman test and Bonferroni-corrected Wilcoxon signed-rank tests. Results: Significant differences were found among platforms for DISCERN scores, checklist performance, and all readability metrics. Claude achieved the highest mean DISCERN and checklist scores, followed by ChatGPT, whereas Gemini scored significantly lower. Claude also produced the most readable responses across all formulas. However, all three platforms exceeded the recommended sixth to eighth-grade reading level for patient education materials. Conclusion: Claude and ChatGPT provided higher-quality and more guideline-concordant HoLEP-related information than Gemini, while Claude showed the best readability. Nevertheless, all platforms remained above recommended patient readability levels and produced only poor-to-moderate DISCERN scores. Conversational AI may support HoLEP patient education, but clinician review, simplification, and guideline-based verification remain necessary.
Özet
Amaç: ChatGPT, Gemini ve Claude tarafından üretilen HoLEP ile ilgili hasta eğitimi yanıtlarının kalitesini, kılavuzlara uygunluğunu ve okunabilirliğini karşılaştırmak. Gereç ve Yöntem: Holmium lazerle prostat enükleasyonu (HoLEP) konusunda 30 standart hasta sorusu, üç farklı diyalog tabanlı yapay zeka platformuna bağımsız olarak iletildi ve bu sorulara 90 yanıt üretildi. Yanıt kalitesi, 16 maddelik DISCERN aracı kullanılarak değerlendirildi ve klinik doğruluk, soruya özgü dört maddelik kılavuz uyum kontrol listeleriyle değerlendirildi. Okunabilirlik, yedi adet geçerliliği kanıtlanmış formül kullanılarak ölçüldü. Platformlar arasındaki farklar, Friedman testi ve Bonferroni düzeltmeli Wilcoxon işaretli sıra testi kullanılarak analiz edildi. Bulgular: DISCERN puanları, kontrol listesi performansı ve tüm okunabilirlik ölçütleri açısından platformlar arasında anlamlı farklılıklar saptandı. Claude, en yüksek ortalama DISCERN ve kontrol listesi puanlarını elde ederken, onu ChatGPT izledi; Gemini ise anlamlı derecede daha düşük puan aldı. Claude ayrıca tüm formüllerde en okunabilir yanıtları üretti. Bununla birlikte, üç platform da hasta eğitim materyalleri için önerilen altıncı ila sekizinci sınıf okuma seviyesini aştı. Sonuç: Claude ve ChatGPT, Gemini’ye kıyasla HoLEP ile ilgili daha yüksek kaliteli ve kılavuzlarla daha uyumlu bilgiler sunarken, Claude en iyi okunabilirlik düzeyini sergiledi. Bununla birlikte, tüm platformlar önerilen hasta okunabilirlik seviyelerinin üzerinde kaldı ve yalnızca zayıf ila orta düzeyde DISCERN puanları elde etti. Sohbet tabanlı yapay zeka, HoLEP konusunda hasta eğitimini destekleyebilir; ancak klinisyenlerin gözden geçirmesi, bilgilerin basitleştirilmesi ve kılavuzlara dayalı doğrulama hâlâ gereklidir.