AI Summary & Key Takeaways
AI InsightThese findings challenge the common assumption that domain-specific pretraining is required for optimal performance in specialized tasks and have major implications for how resources are allocated in healthcare AI development.
📌 3 Key Takeaways
Abstract
The growing use of Large Language Models (LLMs) in healthcare raises important questions about the need for domain-specific training in medical applications. This study presents a detailed evaluation of medical-domain and general-purpose LLMs using three medical datasets (PubMedQA, BioASQ, and WikiDoc), which contain approximately 11,000 question-answer pairs. We evaluated four medical-domain models (Meditron-7B, BioMistral-7B, MedAlpaca-13B, and PMC-LLaMA-13B) against four general-purpose instruction-tuned models (Ministral-8B-Instruct, Gemma 2-9B-it, Vicuna-13B v1.5, and Llama 3-8B-Instruct). Across 182,944 prompts in both zero-shot and few-shot settings, our findings show that general-purpose models consistently outperformed their medical-specific counterparts on all evaluation metrics. Specifically, Ministral-8B-Instruct achieved the highest performance in few-shot settings with a BERTScore of 0.613, SimCSE of 0.764, and semantic similarity of 0.684. These scores were significantly higher than those of the best medical model, BioMistral-7B (0.545, 0.678, and 0.533, respectively). Furthermore, zero-shot performance often matched or surpassed few-shot results, as seen with Llama-3-8B-Instruct achieving a SimCSE score of 0.794. These findings challenge the common assumption that domain-specific pretraining is required for optimal performance in specialized tasks and have major implications for how resources are allocated in healthcare AI development.
Özet
Büyük Dil Modellerinin (BDM’ler) sağlık alanında yaygın kullanımı, tıbbi uygulamalar için alana özgü eğitimin gerekli olup olmadığı konusunda temel soruları gündeme getirmiştir. Bu çalışma, yaklaşık 11.000 soru-cevap çiftinden oluşan üç tıbbi veri seti (PubMedQA, BioASQ ve WikiDoc) kullanarak tıbbi alan ve genel amaçlı BDM’lerin kapsamlı bir değerlendirmesini sunmaktadır. Dört tıbbi alan modeli (Meditron-7B, BioMistral-7B, MedAlpaca-13B ve PMC-LLaMA-13B) ile dört genel amaçlı yönerge ayarlı modeli (Ministral-8B-Instruct, Gemma 2-9B-it, Vicuna-13B v1.5 ve Llama 3-8B-Instruct) hem sıfır-atış hem de az-atış ayarlarında 182.944 istem üzerinde değerlendirdik. Sonuçlarımız, genel amaçlı modellerin tüm değerlendirme metriklerinde tıbbi alan modellerini tutarlı bir şekilde geride bıraktığını göstermektedir. Özellikle, Ministral-8B-Instruct, az-atış ayarlarında 0.613 BERTScore, 0.764 SimCSE ve 0.684 anlamsal benzerlik ile en yüksek genel performansı elde ederek, sırasıyla 0.545, 0.678 ve 0.533 puan alan en iyi tıbbi model (BioMistral-7B) performansını önemli ölçüde aşmıştır. Ayrıca, sıfır-atış performansı genellikle az-atış sonuçlarına eşit veya daha üstün olmuş, Llama-3-8B-Instruct sıfır-atış ayarlarında 0.794 SimCSE puanı elde etmiştir. Bu bulgular, özelleşmiş tıbbi görevlerde optimal performans için alana özgü ön eğitimin gerekli olduğu şeklindeki yaygın varsayımı sorgulamakta ve sağlık AI sistemlerinin geliştirilmesinde kaynak tahsisi açısından önemli çıkarımlar sunmaktadır.