Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightBulgular: Likert Doğruluk ve Eksiksizlik Ölçekleri ile mDISCERN indeksine göre yapay zekâ sohbet robotları arasında istatistiksel olarak anlamlı farklılıklar saptanmıştır (tüm karşılaştırmalar için p<0.0001).
📌 3 Maddede Bu Makale
Özet
Amaç: Bu çalışmanın amacı, yapay zeka sohbet robotlarının hiperbarik oksijen tedavisine ilişkin sorulara verdikleri yanıtların doğruluk, güvenilirlik ve okunabilirlik açısından değerlendirilmesi ve bu sistemlerin tıbbi bilgi kaynağı olarak potansiyelinin belirlenmesidir. Yöntem: HBOT ile ilgili sık aranan 20 açık uçlu soru Google Trends kullanılarak belirlendi ve aynı sorular ChatGPT 5.2, ChatGPT-4.0, ChatGPT-4.1, Copilot, Gemini ve Perplexity’ye yöneltildi. Tüm yanıtlar iki uzman hekim tarafından bağımsız olarak değerlendirildi. Doğruluk ve eksiksizlik Likert ölçekleriyle, güvenilirlik mDISCERN ile, okunabilirlik ise SMOG indeksi ile değerlendirildi. İstatistiksel analizde Kruskal–Wallis, Dunn, Mann–Whitney U ve Fisher’s Exact testleri kullanıldı. Bulgular: Likert Doğruluk ve Eksiksizlik Ölçekleri ile mDISCERN indeksine göre yapay zekâ sohbet robotları arasında istatistiksel olarak anlamlı farklılıklar saptanmıştır (tüm karşılaştırmalar için p<0.0001). Doğruluk açısından ChatGPT 5.2, ChatGPT 4.0, ChatGPT 4.1, Gemini ve Copilot benzer düzeyde daha yüksek puanlar alırken, Perplexity daha düşük performans göstermiştir. Eksiksizlik açısından en yüksek skor Gemini’de gözlenmiş, Perplexity en düşük değerleri almıştır. mDISCERN değerlendirmesinde Perplexity dışındaki modeller benzer düzeyde bulunurken, Perplexity anlamlı derecede daha düşük skor göstermiştir. Okunabilirlik genel olarak orta düzeyde olup gruplar arasında anlamlı farklılık saptanmıştır (p=0.009). Sonuç: Yapay zekâ sohbet robotları, hiperbarik oksijen tedavisine ilişkin bilgi sunumunda farklı performans göstermiştir. Gelişmiş modeller daha yüksek, Perplexity ise daha düşük skorlar almıştır. Okunabilirlik genel olarak orta düzeydedir. Bu sistemler destekleyici araçlar olabilir; ancak klinik kullanım öncesinde dikkatle değerlendirilmelidir.
Abstract
Background: The aim of this study was to evaluate the accuracy, reliability, and readability of responses provided by artificial intelligence chatbot systems to questions related to hyperbaric oxygen therapy, and to determine their potential as a source of medical information. Methods: The 20 most frequently searched open-ended questions on HBOT were identified using Google Trends and directed to ChatGPT 5.2, ChatGPT-4.0, ChatGPT-4.1, Copilot, Gemini, and Perplexity. All responses were independently evaluated by two expert physicians. Accuracy and completeness were assessed using Likert scales, reliability using the mDISCERN tool, and readability using the SMOG index. Statistical analyses included the Kruskal–Wallis, Dunn, Mann–Whitney U, and Fisher’s exact tests. Results: According to median values, no significant differences were observed among ChatGPT 5.2, ChatGPT 4.0, ChatGPT 4.1, Gemini, and Copilot in terms of accuracy; however, Perplexity demonstrated significantly lower scores (p<0.0001). For completeness, Gemini achieved the highest scores, followed by ChatGPT 5.2, ChatGPT 4.0, and ChatGPT 4.1, whereas Copilot and Perplexity received lower completeness scores (p<0.0001). In terms of mDISCERN, all models except Perplexity showed comparable reliability and quality, whereas Perplexity had significantly lower scores (p<0.0001). Overall readability was at a moderate level across models, with a statistically significant difference observed between groups (p=0.009). Conclusion: AI chatbots demonstrated variable performance in providing information on hyperbaric oxygen therapy. Advanced models received higher scores, whereas Perplexity received lower scores. Overall readability was moderate. These systems may serve as supportive tools; however, they should be carefully evaluated before clinical use.