AI Summary & Key Takeaways
AI InsightWhile LLMs may support patient education, variability in correctness and completeness underscores the need for expert oversight; these tools should complement, not replace, clinical expertise in pediatric CL usage.
📌 3 Key Takeaways
Abstract
This study evaluated the accuracy, readability, and comprehensiveness of patient-facing responses generated by LLM-based chatbot platforms to pediatric contact lens (CL)–related questions, using expert grading and readability benchmarking. Five platforms (ChatGPT-4o, Gemini 1.5, Perplexity, Copilot, and Claude 3.5 Sonnet) were assessed using 28 curated questions. Two pediatric ophthalmologists graded anonymized outputs using DISCERN and PEMAT-P, 5-point Likert scales for accuracy and comprehensiveness, and multiple automated readability indices. Expert-written responses were included only for readability benchmarking. ChatGPT-4o produced the longest responses (p<0.0001). Accuracy and comprehensiveness differed across platforms (p=0.0216 and p=0.0067), with ChatGPT-4o scoring higher than Perplexity in post-hoc comparisons (p=0.0173 and p=0.0087). Expert responses were shorter but showed higher complexity on readability indices. Accuracy-based reproducibility was high for general pediatric CL queries but lower for aphakic CL–related questions (p=0.041), and factual inaccuracies were more frequent in aphakic topics. While LLMs may support patient education, variability in correctness and completeness underscores the need for expert oversight; these tools should complement, not replace, clinical expertise in pediatric CL usage.
Özet
Bu çalışma, pediatrik kontakt lenslerle ilgili sorulara verilen yapay zekâ tabanlı sohbet robotu yanıtlarının doğruluk, okunabilirlik ve kapsamlılık açısından değerlendirilmesini, uzman değerlendirmeleri ve okunabilirlik ölçütleri kullanarak incelemiştir. ChatGPT-4o, Gemini 1.5, Perplexity, Copilot ve Claude 3.5 Sonnet olmak üzere beş büyük dil modeli, 28 adet seçilmiş soru ile test edilmiştir. Yanıtlar, DISCERN ve PEMAT-P gibi doğrulanmış araçlar, doğruluk ve kapsamlılık için 5 puanlık Likert ölçekleri ve çeşitli okunabilirlik indeksleri kullanılarak, iki pediatrik oftalmoloji uzmanı tarafından değerlendirilmiştir. Uzman yanıtları yalnızca okunabilirlik karşılaştırmalarında kullanılmıştır. ChatGPT’nin yanıtları en uzun (p<0,0001) ve en ayrıntılı olanlardı. Doğruluk ve kapsamlılık skorları modeller arasında anlamlı farklılık göstermiş (p=0,0216, p=0,0067) ve ChatGPT, Perplexity’den daha iyi performans sergilemiştir (p=0,0173, p=0,0087). Uzman yanıtları daha kısa olmakla birlikte okunabilirlik indekslerinde daha yüksek karmaşıklık göstermiştir. Tekrarlanabilirlik genel pediatrik kontakt lens sorularında yüksek bulunurken, afakik lenslerle ilgili sorularda anlamlı derecede düşük saptanmıştır (p=0,041). Özellikle afakik kontakt lens konularında bazı olgusal hatalar tespit edilmiştir. Büyük dil modelleri, hasta eğitimi materyallerini erişilebilir hale getirse de doğruluk ve bütünlükteki değişkenlik uzman gözetiminin önemini vurgulamaktadır. Bu çalışma, uzmanların sohbet robotu yanıtlarını değerlendirmesini yansıtmakta olup, uzman yanıtlarıyla doğrudan bir karşılaştırma sunmamaktadır. Yapay zekâ sohbet robotları, pediatrik oftalmolojide klinik uzmanlığın yerini almak yerine onu tamamlayıcı bir araç olabilir.