Dergiler / Karaelmas Fen ve Mühendislik Dergisi / 2026 / Cilt: 16 Sayı: 2

İki Aşamalı Transfer Learning Yaklaşımıyla Yüz İfadelerinden Duygu Analizi: Derin Öğrenme Modellerinin Karşılaştırmalı İncelenmesi

Emotion Analysis from Facial Expressions Using a Two-Stage Transfer Learning Approach: A Comparative Study of Deep Learning Models

Mustafa Furkan Keskenler(Takvim-i Vekayi Dergisi, Atatürk Üniversitesi)0000-0002-7604-4179
Sayfa
88–105
Yayın Tarihi
2026-07-24
🏛️Bu makalenin bibliyografik verileri ve tam metin bağlantısı DergiPark üzerinden sağlanmıştır.
DergiPark Kaydı ↗
✨

Yapay Zeka Hızlı Bakış & Çıkarımlar

AI Insight
⚡ TL;DR(1 Cümlede Hızlı Çıkarım)

Bu çalışma, yüz ifadelerinden duygu analizi alanında model başarımı ile hesaplama maliyeti arasındaki dengeyi bütüncül biçimde ortaya koyarak bu çalışma alanına önemli bir katkı sunmaktadır.

📌 3 Maddede Bu Makale

🎯
Amaç & Hipotez:Yüz ifadelerinden duygu analizi, insan–bilgisayar etkileşimi, güvenlik sistemleri ve sağlık uygulamaları gibi birçok alanda kritik öneme sahip bir araştırma problemidir.
📊
Temel Bulgular & Veri:Son yıllarda derin öğrenme tabanlı yöntemler bu alanda önemli ilerlemeler sağlamış olsa da, farklı mimarilerin karşılaştırmalı performansı ve iki aşamalı transfer learning stratejilerinin etkisi hâlen kapsamlı biçimde incelenmeye ihtiyaç duymaktadır.
💡
Sonuç & Katkı:Bu çalışma, yüz ifadelerinden duygu analizi alanında model başarımı ile hesaplama maliyeti arasındaki dengeyi bütüncül biçimde ortaya koyarak bu çalışma alanına önemli bir katkı sunmaktadır.
🔬Tür:Modelleme & Sayısal Simülasyon
📍Kapsam:Genişletilmiş Akademik Örneklem
⚙️Değişkenler:Evrişimsel sinir ağları · derin öğrenme · yüz ifadelerinden duygu analizi

Özet

Yüz ifadelerinden duygu analizi, insan–bilgisayar etkileşimi, güvenlik sistemleri ve sağlık uygulamaları gibi birçok alanda kritik öneme sahip bir araştırma problemidir. Son yıllarda derin öğrenme tabanlı yöntemler bu alanda önemli ilerlemeler sağlamış olsa da, farklı mimarilerin karşılaştırmalı performansı ve iki aşamalı transfer learning stratejilerinin etkisi hâlen kapsamlı biçimde incelenmeye ihtiyaç duymaktadır. Bu çalışmada, yüz ifadelerinden duygu analizi problemi için dört yaygın derin öğrenme mimarisi — ResNet50, DenseNet121, InceptionV3 ve MobileNetV2 — iki aşamalı transfer learning yaklaşımı çerçevesinde sistematik olarak karşılaştırılmıştır. Çalışmada, ImageNet veri kümesi üzerinde önceden eğitilmiş modeller kullanılarak ilk aşamada evrişimsel katmanlar dondurulmuş ve yalnızca problem-özgü sınıflandırıcı katmanlar eğitilmiştir. İkinci aşamada ise seçilen üst katmanlar yeniden eğitime açılarak ince ayar gerçekleştirilmiştir. Modeller, doğruluk, kayıp, kesinlik, ger çağırma ve F1 skoru gibi performans metriklerinin yanı sıra, eğitim süresi, parametre sayısı ve model boyutu açısından da değerlendirilmiştir. Deneyler GPU ortamında çoklu tekrarlar hâlinde yürütülerek sonuçların istatistiksel güvenilirliği artırılmıştır. Elde edilen sonuçlar, iki aşamalı eğitim stratejisinin tüm modellerde anlamlı performans artışı sağladığını göstermiştir. DenseNet121 modeli en dengeli ve en yüksek genel performansı sunarken, ResNet50 yüksek doğruluk ve güçlü genelleme yeteneğiyle dikkat çekmiştir. MobileNetV2 ise düşük hesaplama maliyetiyle kaynak kısıtlı uygulamalar için etkili bir alternatif olarak öne çıkmıştır. Bu çalışma, yüz ifadelerinden duygu analizi alanında model başarımı ile hesaplama maliyeti arasındaki dengeyi bütüncül biçimde ortaya koyarak bu çalışma alanına önemli bir katkı sunmaktadır.

Abstract

Emotion analysis from facial expressions is a critical research problem with significant applications in human–computer interaction, security systems, and healthcare technologies. Although deep learning–based methods have achieved remarkable progress in recent years, the comparative performance of different architectures and the impact of two-stage transfer learning strategies still require comprehensive investigation. In this study, four widely used deep learning architectures—ResNet50, DenseNet121, InceptionV3, and MobileNetV2—are systematically compared for the task of facial emotion recognition within a two-stage transfer learning framework. In the first stage, models pre-trained on the ImageNet dataset were employed by freezing the convolutional layers and training only task-specific classifier layers. In the second stage, selected upper layers were unfrozen, and fine-tuning was performed to adapt the models more effectively to the target dataset. The models were evaluated not only in terms of classification performance metrics such as accuracy, loss, precision, recall, and F1-score, but also with respect to training time, number of parameters, and model size. All experiments were conducted with multiple repetitions in a GPU environment to enhance the statistical reliability of the results. The experimental findings demonstrate that the two-stage training strategy leads to significant performance improvements across all models. DenseNet121 achieved the most balanced and highest overall performance, while ResNet50 exhibited high accuracy and strong generalization capability. MobileNetV2, despite lower absolute accuracy, emerged as an effective alternative for resource-constrained applications due to its low computational cost. Overall, this study provides a comprehensive evaluation of the trade-off between model performance and computational efficiency in facial emotion recognition, contributing valuable insights to this research domain.

🔖

Bu Makaleye Atıf Yap

Keskenler, M. F. (2026). İki Aşamalı Transfer Learning Yaklaşımıyla Yüz İfadelerinden Duygu Analizi: Derin Öğrenme Modellerinin Karşılaştırmalı İncelenmesi. Karaelmas Fen ve Mühendislik Dergisi, Cilt: 16 Sayı: 2, 88–105. https://doi.org/10.7212/karaelmasfen.1850538

📄 Tam Metin PDF Okuyucu

📄

PDF görüntüleyici hazırlanıyor...

Kaynakça (26)

  1. Ali, G., Ali, A., Ali, F., Draz, U., Majeed, F., Yasin, S., & Haider, N. (2023). Artificial neural network-based ensemble approach for multicultural facial expressions analysis. IEEE Access, 8, 134950–63.
  2. Calvo, R. A., & D’Mello, S. (2010). Affect detection: An interdisciplinary review of models, methods, and their applications. IEEE Transactions on Affective Computing, 1(1), 18–37. https://doi.org/10.1109/T-AFFC.2010.1
  3. Darraz, N., Karabila, I., El-Ansari, A., Alami, N., & El Mallahi, M. (2025). Integrated sentiment analysis with BERT for enhanced hybrid recommendation systems. Expert Systems with Applications, 261, Article 125533. https://doi.org/10.1016/j.eswa.2024.125533 Ekman, P., & Friesen, W. V. (1971). Constants across cultures in the face and emotion. Journal of Personality and Social Psychology, 17(2), 124–129. https://doi.org/10.1037/h0030377
  4. Gao, X., Liu, F., Zhuang, X., Zhang, Y., Tian, X., Dong, Y., & Yang, H. (2026). A unified dual-view knowledge-guided sentiment interaction networks for aspect-based sentiment analysis. Neural Networks, 194, Article 108159. https://doi.org/10.1016/j.neunet.2025.108159
  5. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press, 800 pp.
  6. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) pp. 770–778, USA. https://doi.org/10.1109/CVPR.2016.90
  7. Huang, G., Liu, Z., Van Der Maaten, L., & Weinberger, K. Q. (2017). Densely connected convolutional networks. In Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4700–4708, USA. https://doi.org/10.1109/CVPR.2017.243
  8. Huang, X., Sun, H., Liu, X., Wu, J., & He, L. (2026). Text-dominant speech-enhanced network for multimodal aspect-based sentiment analysis. Information Fusion, 126, Article 103543. https://doi.org/10.1016/j.inffus.2025.103543
  9. LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444. https://doi.org/10.1038/nature14539
  10. Li, S., & Deng, W. (2020). Deep facial expression recognition: A survey. IEEE Transactions on Affective Computing, 13(3), 1195–1215. https://doi.org/10.1109/TAFFC.2020.2981446
  11. Li, X., Lai, S., & Qian, X. (2021). DBCFace: towards pure convolutional neural network face detection. IEEE Transactions on Circuits and Systems for Video Technology, 32(4), 1792-1804,. https://doi.org/10.1109/TCSVT.2021.3082635.
  12. Li, Z., Huang, Z., Pan, Y., Yu, J., Liu, W., Chen, H., & Wang, H. (2024). Hierarchical denoising representation disentanglement and dual-channel cross-modal-context interaction for multimodal sentiment analysis. Expert Systems with Applications, 252(B), Article 124236. https://doi.org/10.1016/j.eswa.2024.124236
  13. Mollahosseini, A., Hasani, B., & Mahoor, M. H. (2017). AffectNet: A database for facial expression, valence, and arousal computing in the wild. IEEE Transactions on Affective Computing, 10(1), 18–31. https://doi.org/10.1109/TAFFC.2017.2740923
  14. Mughal, N., Mujtaba, G., Shaikh, S., Kumar, A., & Daudpota, S. M. (2024). Comparative analysis of deep neural networks and large language models for aspect-based sentiment analysis. IEEE Access, 12, 60943–60959. https://doi.org/10.1109/ACCESS.2024.3386969
  15. Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359. https://doi.org/10.1109/TKDE.2009.191
  16. Pandey, A., & Vishwakarma, D. K. (2024). Progress, achievements, and challenges in multimodal sentiment analysis using deep learning: A survey. Applied Soft Computing, 152, Article 111206. https://doi.org/10.1016/j.asoc.2023.111206
  17. Pranav, E., Kamal, S., Chandran, C. S., & Supriya, M. H. (2020). Facial emotion recognition using deep convolutional neural network. 6th International conference on advanced computing and communication Systems (ICACCS), IEEE. pp. 317–20, Indiana.
  18. Ruan, S., Zhang, K., Wu, L., Xu, T., Liu, Q., & Chen, E. (2024). Color enhanced cross correlation net for image sentiment analysis. IEEE Transactions on Multimedia, 26, 4097–4109. https://doi.org/10.1109/TMM.2021.3118208
  19. Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., & Chen, L. C. (2018). MobileNetV2: Inverted residuals and linear bottlenecks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4510–4520, USA. https://doi.org/10.1109/CVPR.2018.00474
  20. Song, L., Chen, S., Meng, Z., Sun, M., & Shang, X. (2024). FMSA-SC: A fine-grained multimodal sentiment analysis dataset based on stock comment videos. IEEE Transactions on Multimedia, 26, 7294–7306. https://doi.org/10.1109/TMM.2024.3363641
  21. Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., & Wojna, Z. (2016). Rethinking the inception architecture for computer vision. Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) pp. 2818–2826, USA. https://doi.org/10.1109/CVPR.2016.308
  22. Verma, A., Singh, P., & Alex, J. S. R. (2019). Modified convolutional neural network architecture analysis for facial emotion recognition. 26th International Conference on Systems, Signals and Image Processing (IWSSIP 2019), pp. 169–173, Croatia.
  23. Yang, L., Tian, Y., Song, Y., Yang, N., Ma, K., & Xie, L. (2020). A novel feature separation model exchange-GAN for facial expression recognition. Knowledge-Based Systems, 204, 106217.
  24. Yang, J., Xiao, Y., & Du, X. (2024). Multi-grained fusion network with self-distillation for aspect-based multimodal sentiment analysis. Knowledge-Based Systems, 293, 111724. https://doi.org/10.1016/j.knosys.2024.111724
  25. Zhang, X., Zhang, F., & Xu, C. (2021). Joint expression synthesis and representation learning for facial expression recognition. IEEE Trans Circuits Syst Video Technol., 32(3), 1681–95.
  26. Zeng, Z., Pantic, M., Roisman, G. I., & Huang, T. S. (2009). A survey of affect recognition methods: Audio, visual, and spontaneous expressions. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(1), 39–58. https://doi.org/10.1109/TPAMI.2008.52