AI Summary & Key Takeaways
AI InsightA total of 47 out of 60 points were awarded based on appropriateness, reflecting a 78.3% overall accuracy.
📌 3 Key Takeaways
Abstract
Objectives: This study aimed to evaluate the specialty referral patterns suggested by ChatGPT-4 in response to clinical scenarios involving oral and maxillofacial lesions. The primary objective was to assess the distribution of referrals among ear nose and throat (ENT), dermatology, plastic surgery, oral and maxillofacial surgery, oral diseases and radiology. Methods: A qualitative content analysis and expert review were conducted using the GPT-4 model. Twenty standardized clinical vignettes were created to represent a wide range of oral and maxillofacial pathologies. Each vignette was input into GPT-4 using a uniform triage-style prompt, asking the model to suggest the most appropriate medical specialty for referral (ENT, dermatology, plastic surgery, oral diagnosis and radiology, oral and maxillofacial surgery, or other) along with a brief justification. GPT-4’s referral outputs were documented and categorized. Results: Out of 20 clinical vignettes involving oral and maxillofacial lesions, ChatGPT-4’s referral decisions were rated by an oral and maxillofacial radiology expert. A total of 47 out of 60 points were awarded based on appropriateness, reflecting a 78.3% overall accuracy. The model most frequently referred cases to oral and maxillofacial surgery (60%), followed by dermatology (30%), oral diseases and radiology (25%), ENT (20%), and plastic surgery (10%). While GPT-4 performed well in common benign, cystic, and salivary lesions, limitations were noted in syndromic, infectious, and metastatic cases where co-referral or interdisciplinary awareness was lacking. Conclusions: This study investigates ChatGPT-4’s potential utility and limitations as a triage assistant in identifying appropriate specialty referrals for oral and maxillofacial lesions. While the model shows promise in pattern recognition, differences between AI-generated referrals and expert consensus indicate the need for interdisciplinary oversight and further refinement before clinical implementation. Integrating AI models into referral systems may support clinical workflows but should be approached with caution to ensure patient safety and specialty-appropriate care pathways.
Özet
Amaçlar: Bu çalışma, ChatGPT-4’ün oral ve maksillofasiyal lezyonlarını içeren klinik senaryolara verdiği yanıtlarda önerdiği uzmanlık alanlarına yönelik yönlendirme (sevk) kalıplarını değerlendirmeyi amaçlamaktadır. Birincil amaç, yönlendirmelerin kulak burun boğaz (KBB), dermatoloji, plastik cerrahi, oral ve maksillofasiyal cerrahi, ağız hastalıkları ve radyoloji branşları arasında nasıl dağıldığını incelemektir. Yöntem: GPT-4 modeli kullanılarak nitel içerik analizi ve uzman değerlendirmesi yapılmıştır. Oral ve maksillofasiyal patolojilerin geniş bir yelpazesini temsil eden yirmi standartlaştırılmış klinik senaryo (vinyet) oluşturulmuştur. Her bir vinyet, GPT-4’e, tek tip bir triyaj tarzı istem aracılığıyla sunulmuş ve modelden en uygun tıbbi uzmanlık alanını (KBB, dermatoloji, plastik cerrahi, ağız hastalıkları ve radyoloji, ağız ve maksillofasiyal cerrahi veya diğer) ve yönlendirme gerekçesini kısaca belirtmesi istenmiştir. GPT-4’ün yönlendirme çıktıları belgelenmiş ve kategorize edilmiştir. Bulgular: Oral ve maksillofasiyal lezyonları içeren 20 klinik vinyetin değerlendirilmesi sonucunda, ChatGPT-4’ün yönlendirme kararları ağız ve maksillofasiyal radyoloji uzmanı tarafından puanlanmıştır. Uygunluk açısından toplamda 60 üzerinden 47 puan verilmiş ve bu da %78,3 genel doğruluk oranına karşılık gelmektedir. Model, vakaların en sık %60 oranında oral ve maksillofasiyal cerrahiye, %30 oranında dermatolojiye, %25 oranında ağız hastalıkları ve radyolojiye, %20 oranında KBB’ye ve %10 oranında plastik cerrahiye yönlendirilmesini önermiştir. GPT-4, yaygın iyi huylu, kistik ve tükrük bezi lezyonlarında başarılı bir performans göstermiş olsa da, sendromik, enfeksiyöz ve metastatik vakalarda birlikte yönlendirme veya disiplinler arası farkındalık eksikliği nedeniyle sınırlamalar gözlemlenmiştir. Sonuçlar: Bu çalışma, ChatGPT-4’ün oral ve maksillofasiyal lezyonlara yönelik uygun uzmanlık yönlendirmelerini belirlemede bir triyaj yardımcısı olarak potansiyel faydasını ve sınırlılıklarını araştırmaktadır. Model, klinik örüntü tanımada umut verici bir performans sergilese de, yapay zekâ tarafından oluşturulan yönlendirmeler ile uzman görüşleri arasındaki farklılıklar, disiplinler arası denetim ve daha fazla geliştirme ihtiyacını ortaya koymaktadır. Yapay zekâ modellerinin yönlendirme sistemlerine entegrasyonu klinik iş akışlarını destekleyebilir; ancak hasta güvenliğini ve uygun uzmanlık alanına yönlendirmeyi sağlamak adına dikkatli bir yaklaşımla uygulanmalıdır.