AI Summary & Key Takeaways
AI InsightWhile these models cannot replace formal medical training or clinical judgment, they may serve as supportive tools in orthopedic education and exam preparation.
📌 3 Key Takeaways
Abstract
Aim: Artificial intelligence (AI) applications are increasingly used in medical education and clinical research. The purpose of this study was to examine the accuracy of various large language models (LLMs) in responding to questions related to hand surgery. This evaluation was based on items derived from the Turkish Orthopedics and Traumatology Board Examination administered between 2010 and 2025. Methods: A total of 220 hand surgery–related multiple-choice questions were extracted from national board examinations administered between 2010 and 2025. Questions were posed to three LLMs (ChatGPT-5.0, Gemini-Pro, and DeepSeek-V3) using both collective and individual questioning approaches across three separate sessions. Model responses were compared with the official correct answers, and success rates were calculated descriptively. Results: All three LLMs achieved satisfactory performance across all years, with success rates ranging from 73.6% to 90.9%. Individually asked questions yielded higher average scores compared with collectively asked questions. Year-by-year analysis demonstrated that all models met or exceeded the examination passing threshold throughout the 16-year period. Conclusion: Current LLMs demonstrate a high level of factual knowledge in hand surgery board examination questions. While these models cannot replace formal medical training or clinical judgment, they may serve as supportive tools in orthopedic education and exam preparation.
Özet
Amaç: Yapay zekâ (YZ) uygulamaları tıp eğitimi ve klinik araştırmalarda giderek daha yaygın olarak kullanılmaktadır. Bu çalışmanın amacı, çeşitli büyük dil modellerinin (LLM) el cerrahisi ile ilgili sorulara verdikleri yanıtların doğruluğunu değerlendirmektir. Bu değerlendirme, 2010–2025 yılları arasında uygulanan Türk Ortopedi ve Travmatoloji Yeterlik Sınavı’ndan elde edilen sorular temel alınarak yapılmıştır. Yöntemler: 2010–2025 yılları arasında gerçekleştirilen ulusal yeterlik sınavlarından toplam 220 adet el cerrahisi ile ilişkili çoktan seçmeli soru seçilmiştir. Sorular, üç büyük dil modeline (ChatGPT-5.0, Gemini-Pro ve DeepSeek-V3) hem toplu hem de tek tek soru yöneltme yaklaşımları kullanılarak üç ayrı oturumda sunulmuştur. Model yanıtları resmi doğru cevaplarla karşılaştırılmış ve başarı oranları tanımlayıcı istatistikler kullanılarak hesaplanmıştır. Bulgular: Her üç büyük dil modeli de tüm yıllarda tatmin edici performans göstermiş olup başarı oranları %73,6 ile %90,9 arasında değişmiştir. Soruların tek tek yöneltildiği durumda elde edilen ortalama başarı oranları, toplu olarak yöneltilen sorulara kıyasla daha yüksek bulunmuştur. Yıllara göre yapılan analizde, tüm modellerin 16 yıllık dönem boyunca sınav geçme barajını karşıladığı veya aştığı görülmüştür. Sonuç: Güncel büyük dil modelleri, el cerrahisi yeterlik sınavı sorularında yüksek düzeyde bilgi birikimi göstermektedir. Bu modeller formal tıp eğitiminin veya klinik karar verme sürecinin yerini alamaz; ancak ortopedi eğitiminde ve sınav hazırlık sürecinde destekleyici araçlar olarak kullanılabilirler.