AI Summary & Key Takeaways
AI InsightResponses were independently evaluated by six expert raters using predefined criteria, including clinical depth, technical accuracy, decision-making utility, overall quality, and the presence of potentially harmful or misleading information.
📌 3 Key Takeaways
Abstract
The study aimed to evaluate the quality, clinical reliability, and guideline concordance of physician-level educational responses generated by artificial intelligence (AI) in diabetic foot ulcer management. A blinded, comparative analysis was conducted using three widely used large language models—ChatGPT, Gemini, and Claude—which were assessed across twelve standardized clinical questions covering prevention, diagnosis and classification, and treatment. All questions were developed based on an established clinical guideline (International Working Group on the Diabetic Foot, IWGDF). Responses were independently evaluated by six expert raters using predefined criteria, including clinical depth, technical accuracy, decision-making utility, overall quality, and the presence of potentially harmful or misleading information. Guideline concordance was assessed using structured checklists derived from established recommendations. Significant differences were observed among the evaluated models across all domains. Gemini consistently demonstrated higher performance in clinical depth, technical accuracy, decision-making utility, and overall quality, while also showing greater alignment with guideline-based recommendations. ChatGPT and Claude demonstrated comparatively lower scores and a higher tendency to produce responses containing potentially misleading information. Inter-rater reliability analysis indicated moderate to good agreement among evaluators. These findings suggest that, although artificial intelligence systems show considerable potential in generating clinically relevant information, their performance remains variable and may not consistently meet the standards required for high-risk clinical decision-making. Careful evaluation and validation are therefore essential before integrating such systems into routine clinical practice.
Özet
Çalışmanın amacı, diyabetik ayak ülseri yönetimine ilişkin yapay zeka tarafından üretilen hekim düzeyindeki eğitsel yanıtların kalite, klinik güvenilirlik ve kılavuz uyumunu değerlendirmektir. Çift kör, karşılaştırmalı analiz, üç yaygın kullanılan büyük dil modeli—ChatGPT, Gemini ve Claude—kullanılarak gerçekleştirilmiş ve bu modeller önleme, tanı ve sınıflandırma ile tedaviyi kapsayan on iki standart klinik soru üzerinden değerlendirilmiştir. Tüm sorular, Uluslararası Diyabetik Ayak Çalışma Grubu (IWGDF) tarafından yayımlanan mevcut bir klinik kılavuz temel alınarak geliştirilmiştir. Yanıtlar, klinik derinlik, teknik doğruluk, karar verme yararlılığı, genel kalite ve potansiyel olarak zararlı veya yanıltıcı bilgi varlığı dahil olmak üzere önceden tanımlanmış kriterlere göre altı uzman değerlendirici tarafından bağımsız olarak incelenmiştir. Uluslararası kabul gören kılavuz ile uyumu, yerleşik önerilere dayalı yapılandırılmış kontrol listeleri kullanılarak değerlendirilmiştir. Tüm değerlendirme alanlarında modeller arasında anlamlı farklılıklar saptanmıştır. Gemini, klinik derinlik, teknik doğruluk, karar verme yararlılığı ve genel kalite açısından daha yüksek performans göstermiş ve aynı zamanda kılavuz temelli önerilerle daha yüksek düzeyde uyum sergilemiştir. Buna karşılık ChatGPT ve Claude daha düşük skorlar elde etmiş ve yanıltıcı bilgi üretme eğilimlerinin daha yüksek olduğu gözlenmiştir. Değerlendiriciler arası uyum analizinde orta-iyi düzeyde tutarlılık saptanmıştır. Bu bulgular, yapay zeka sistemlerinin klinik açıdan anlamlı bilgi üretme potansiyeline sahip olduğunu göstermekle birlikte, performanslarının değişken olduğunu ve yüksek riskli klinik karar verme süreçlerinde her zaman gerekli standartları karşılamayabileceğini ortaya koymaktadır. Bu nedenle bu sistemlerin rutin klinik uygulamalara entegrasyonu öncesinde dikkatli değerlendirme ve doğrulama gereklidir.