Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightBulgular, SER çalışmalarında protokol seçiminin ve uçtan uca maliyet ölçümünün açıkça raporlanması gerektiğini göstermektedir.
📌 3 Maddede Bu Makale
Özet
Konuşma tabanlı duygu tanıma (Speech Emotion Recognition — SER), insan-bilgisayar etkileşimi, sağlık izleme ve müşteri hizmetleri gibi alanlarda kritik öneme sahip bir araştırma konusudur. Bu çalışmada dört referans veri seti (RAVDESS, CREMA-D, TESS, SAVEE) birleştirilerek 121 konuşmacıya ait 12.162 ses kaydı üzerinde yedi makine öğrenmesi ve derin öğrenme modeli karşılaştırmalı olarak değerlendirilmiştir. Değerlendirme, konuşmacıya göre gruplanmış katmanlı çapraz doğrulama (5 kat × 3 tekrar) ile konuşmacı-bağımsız olarak yürütülmüş; ayrıca her veri setinin sırayla test kümesi olarak kullanıldığı veri setleri arası protokol uygulanmıştır. Çalışmanın temel bulgusu, değerlendirme protokolünün model mimarisinden daha belirleyici olmasıdır: konuşmacı bağımlılığına izin veren rastgele bölme, yedi modelin tamamında ortalama 14,61 puanlık iyimser bir yanlılık üretmektedir ve bu, en iyi ile en kötü model arasındaki farktan (11,24 puan) büyüktür. Konuşmacı-bağımsız protokolde en yüksek dengeli doğruluğu MLP (%52,39) göstermiş, CNN-BiLSTM-Attention ile arasında anlamlı fark bulunmamıştır; geleneksel makine öğrenmesi ile derin öğrenme modellerinin başarım aralıkları örtüştüğünden model ailesi düzeyinde bir üstünlük iddiası desteklenmemektedir. Veri setleri arası değerlendirmede en iyi model altı sınıflı problemde %29,3 dengeli doğrulukta kalmış, iki veri seti için başarım şans düzeyine (%16,67) yaklaşmıştır. Hesaplama maliyeti özellik çıkarma süresi dâhil edilerek uçtan uca ölçüldüğünde sıralama tersine dönmekte, Random Forest en yavaş (211,6 ms/kayıt), 1D-CNN ise en hızlı (37,0 ms/kayıt) model olmaktadır. Bulgular, SER çalışmalarında protokol seçiminin ve uçtan uca maliyet ölçümünün açıkça raporlanması gerektiğini göstermektedir.
Abstract
Speech Emotion Recognition (SER) is a research topic of critical importance in areas such as human-computer interaction, health monitoring, and customer services. In this study, four benchmark datasets (RAVDESS, CREMA-D, TESS, SAVEE) were merged into a corpus of 12,162 recordings from 121 speakers, and seven machine learning and deep learning models were evaluated comparatively. Evaluation was carried out under a speaker-independent protocol using speaker-wise stratified group cross-validation (5 folds × 3 repeats), complemented by a leave-one-dataset-out protocol in which each corpus served in turn as the test set. The principal finding is that the evaluation protocol matters more than the model architecture: random splitting that permits speaker overlap produces an optimistic bias of 14.61 percentage points on average across all seven models, which exceeds the 11.24-point gap between the best and worst model. Under the speaker-independent protocol the highest balanced accuracy was obtained by the MLP (52.39%), with no significant difference from CNN-BiLSTM-Attention; since the performance ranges of traditional machine learning and deep learning models overlap, no claim of superiority at the model-family level is supported. In the cross-corpus evaluation the best model reached only 29.3% balanced accuracy on the six-class problem, approaching the chance level (16.67%) for two of the four corpora. When computational cost is measured end to end, including feature extraction time, the ranking reverses: Random Forest becomes the slowest model (211.6 ms per recording) and the 1D-CNN the fastest (37.0 ms). The findings indicate that both the evaluation protocol and end-to-end cost measurement must be reported explicitly in SER studies.