AI Summary & Key Takeaways
AI InsightThese findings support ChatGPT’s potential as patient-education aid for musculoskeletal disorders while underscoring the need for expert oversight and further research across broader topics, languages, and chatbot platforms.
📌 3 Key Takeaways
Abstract
Aim: Our aim in this study was to compare the reliability and clinical usefulness of answers generated by ChatGPT’s GPT-5.1 Instant and GPT-5.1 Thinking models for the most frequently searched patient questions on lateral epicondylitis. Materials and Methods: This study was designed as a pilot, descriptive, expert-evaluated large language model (LLM) output assessment study. Google Trends was queried for “tennis elbow” and “lateral epicondylitis”. The six highest-ranked questions were posed to GPT-5.1 Instant and GPT-5.1 Thinking. Three senior physiatrists independently rated every response using the seven-point Reliability and Usefulness Scales. Results: Both models produced reliable and moderately useful responses. Mean ± SD reliability scores were 5.11 ± 1.18 for GPT-5.1 Instant and 5.06 ± 1.21 for GPT-5.1 Thinking, while usefulness scores were 5.22 ± 1.22 and 5.50 ± 1.38, respectively. Differences were not statistically significant (reliability Z = -1.00, p = 0.317, r ≈ 0.41; usefulness Z = -1.60, p = 0.109, r ≈ 0.65), though GPT-5.1 Thinking trended higher in usefulness. Inter-rater agreement was excellent for all ratings (ICC = 0.94-0.98), indicating consistent scoring. Conclusion: GPT-5.1 Instant and GPT-5.1 Thinking both delivered reliable, moderately useful information on lateral epicondylitis, with GPT-5.1 Thinking showing a numerically higher usefulness score that did not reach statistical significance. These findings support ChatGPT’s potential as patient-education aid for musculoskeletal disorders while underscoring the need for expert oversight and further research across broader topics, languages, and chatbot platforms.
Özet
Amaç: Bu çalışmanın amacı, lateral epikondilit ile ilgili hastaların en sık aradığı sorulara ChatGPT’nin GPT-5.1 Instant ve GPT-5.1 Thinking modelleri tarafından verilen yanıtların güvenilirlik ve klinik yararlılık açısından karşılaştırılmasıdır. Gereçler ve Yöntemler: Bu çalışma, pilot, tanımlayıcı, uzman değerlendirmeli bir büyük dil modeli (LLM) çıktı değerlendirme çalışması olarak tasarlandı. Google Trends’de “tenisçi dirseği” ve “lateral epikondilit” terimleri sorgulandı. En yüksek sıralamaya sahip altı soru belirlendi ve her biri Türkçe olarak GPT-5.1 Instant ve GPT-5.1 Thinking modellerine yöneltildi. Üç kıdemli fiziksel tıp ve rehabilitasyon uzmanı tüm yanıtları yedi puanlı Güvenilirlik ve Yararlılık Ölçeklerini kullanarak bağımsız biçimde değerlendirdi. Bulgular: Her iki model de güvenilir ve orta düzeyde yararlı yanıtlar üretti. Ortalama ± SS güvenilirlik skorları GPT-5.1 Instant için 5.11 ± 1.18, GPT-5.1 Thinking için 5.06 ± 1.21 olarak bulundu. Yararlılık skorları sırasıyla 5.22 ± 1.22 ve 5.50 ± 1.38 idi. Farklar istatistiksel olarak anlamlı değildi (güvenilirlik: Z = -1.00, p = 0.317, r ≈ 0.41; yararlılık: Z = -1.60, p = 0.109, r ≈ 0.65), ancak GPT-5.1 Thinking yararlılık açısından daha yüksek eğilim gösterdi. Değerlendiriciler arası uyum tüm ölçümlerde mükemmeldi (ICC = 0.94-0.98). Sonuç: GPT-5.1 Instant ve GPT-5.1 Thinking, lateral epikondilit hakkında güvenilir ve orta derecede yararlı bilgiler sunmuştur. GPT-5.1 Thinking modelinde yararlılık skoru sayısal olarak daha yüksek bulunmuş, ancak bu fark istatistiksel olarak anlamlı değildir. Bu bulgular, ChatGPT’nin kas-iskelet sistemi hastalarında hasta eğitimi için potansiyel bir araç olabileceğini, ancak uzman denetimi ve daha geniş konu, dil ve chatbot platformlarını içeren ileri araştırmaların gerekli olduğunu göstermektedir.