AI Summary & Key Takeaways
AI InsightThe findings reveal significant performance differences between the models.
📌 3 Key Takeaways
Abstract
This study aims to comparatively examine the performance of nine large language models (LLMs) with different providers and architectural scales in question-answering tasks related to mental health. The models were evaluated under the same experimental conditions using a mental health-based dataset, and their generated responses were compared with reference answers. Multiple automatic metrics that consider both surface and semantic similarity were used in the evaluation process. The findings reveal significant performance differences between the models. While the GPT-4o model stands out in terms of overall quality and consistency, the GPT-3.5 Turbo model produces results similar to larger models in some tasks, indicating that model scale does not always provide a linear advantage. The open-source LLaMA 3.3 model's performance, which is close to that of commercial systems, is noteworthy. These findings indicate that model selection in digital applications for mental health depends not only on technical capacity but also on task suitability. Quantitative results show that GPT-4o achieved the highest performance in semantic metrics, with a COMET score of 0.7277 and a METEOR score of 0.1480, indicating superior consistency compared to other models.
Özet
Bu çalışma, ruh sağlığı alanına yönelik soru-cevap görevlerinde farklı sağlayıcılara ve mimari ölçeklere sahip sekiz büyük dil modelinin (Large Language Model – LLM) performansını karşılaştırmalı olarak incelemeyi amaçlamaktadır. Modeller, ruh sağlığı temelli bir veri seti kullanılarak aynı deneysel koşullar altında değerlendirilmiş ve ürettikleri yanıtlar referans cevaplarla karşılaştırılmıştır. Değerlendirme sürecinde hem yüzeysel hem de anlamsal benzerliği dikkate alan çoklu otomatik metriklerden yararlanılmıştır. Elde edilen bulgular, modeller arasında belirgin performans farklılıkları bulunduğunu göstermektedir. Özellikle GPT-4o modeli genel kalite ve tutarlılık açısından öne çıkarken, GPT-3.5 Turbo’nun bazı görevlerde daha büyük modellerle benzer sonuçlar üretmesi model ölçeğinin her durumda doğrusal bir üstünlük sağlamadığını ortaya koymaktadır. Açık kaynaklı LLaMA 3.3 modelinin ticari sistemlere yakın performans göstermesi dikkat çekicidir. Bu bulgular, ruh sağlığına yönelik dijital uygulamalarda model seçiminin teknik kapasite kadar görev uyumuna da bağlı olduğunu göstermektedir. Sayısal sonuçlar, GPT-4o'nun anlamsal ölçütlerde en yüksek performansı sergilediğini göstermektedir; 0,7277 COMET puanı ve 0,1480 METEOR puanı ile diğer modellere kıyasla yüksek bir tutarlılık sergilemiştir.