Journals / Bilişim Teknolojileri Dergisi / 2020 / Cilt: 13 - Sayı: 2

Classification of Emotional State based on Eye Movements

Gözbebeği Hareketleri Temelli Duygu Durumu Sınıflandırılması

Pages
137–144
Publication Date
2020-04-30
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

Analysis results demonstrated the best success rate with 68% for kNN algorithm for classification within these two emotion groups, where the application of Naïve Bayes and SVM results in a success rate of 55%, Linear Discriminant Analysis 50%, decision tree and logistic regression 48%.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:Emotional state is controlled by the autonomous nervous system (ANS).
📊
Key Findings & Data:Stimuli, a total of 60 pictures, are selected from the IAPS image database, where different emotional stimuli sets are chosen concerning valence scores to form positive, neutral and negative stimulus classes.
💡
Conclusion & Impact:Analysis results demonstrated the best success rate with 68% for kNN algorithm for classification within these two emotion groups, where the application of Naïve Bayes and SVM results in a success rate of 55%, Linear Discriminant Analysis 50%, decision tree and logistic regression 48%.
🔬Design:Research Article
📍Scope:Comprehensive Sample
⚙️Variables:eye tracking · emotion · classification

Abstract

Emotional state is controlled by the autonomous nervous system (ANS). Thus, in the presence of a positive or negative type of a stimulus, ANS responses occur in a short time which can be observed as various physical output, depending on the type of emotion triggered by the stimulus type in the individual. One of these physical differences related to the type of stimulus is the pupil size variation and can be named as a physiological change to examine one’s emotional state. According to previous studies, pupil size and eye movement measurements were shown to be a useful input signal. Relying on that, emotion recognition by extracting eye gaze pattern is aimed in the present study. When a negative type of a stimulus triggers a person, pupil size seems to dilate. On the other hand, in the presence of a positive type of stimulus, pupil size is tightened. Based on this information, in the concept of this study, stimuli are applied to male and female volunteers. Stimuli, a total of 60 pictures, are selected from the IAPS image database, where different emotional stimuli sets are chosen concerning valence scores to form positive, neutral and negative stimulus classes. Thirteen volunteers participated in the study to perform the test paradigm and to attend the eye tracker measurement. Left and right pupil size values and fixation time parameters are used for classification purposes. The input features are classified for three classes using kNN, Naive Bayes, Support Vector Machine, Linear Discriminant Analysis, decision tree and logistic regression techniques. Low classification accuracy yields us to apply classification based on positive and negative stimuli. Analysis results demonstrated the best success rate with 68% for kNN algorithm for classification within these two emotion groups, where the application of Naïve Bayes and SVM results in a success rate of 55%, Linear Discriminant Analysis 50%, decision tree and logistic regression 48%. To conclude, eye movements can reflect the emotional responses of the subject and also predictions of the arousal level of the subjects might be performed.

Özet

İnsanlardaki duygu durumu otonom sinir sistemi tarafından kontrol edilmektedir. Bu sebeple, olumlu veya olumsuz bir uyaran ile karşılaştığında otonom sinir sistemi çok kısa bir süre içerisinde, uyaran çeşidinin bireyde tetiklediği duygu türüne göre çeşitli bedensel farklılıklara sebebiyet vermektedir. Bedensel bu farklılıklardan bir tanesi de kişilerin gözbebeğinin uyaran çeşitine göre gösterdiği fizyolojik farklılıklardır. Yapılan araştırmalar göz bebeği hareketlerinin ve boyutunun ölçülmesinin yararlı bir girdi sinyali olabileceğini göstermektedir. İnsanlar olumsuz bir uyaran gördüğünde gözdeki pupil boyutunda genişleme, olumlu bir uyaran gördüğünde ise pupil boyutunda daralma oluşmaktadır. Bu bilgiler ışığında çalışma kapsamında, erkek ve kadın katılımcılara uygulanan, türlü kategorilerden oluşan büyük bir fotoğraflar dizisi olan IAPS içerisinden, katılımcılarda fazlasıyla zıt duygulanımlar meydana getiren uyaran sınıfları değerlik puanlarına göre tercih edilmiş ve uyaranlar olumlu, olumsuz ve nötr olmak üzere üç sınıfa ayrılmıştır. Çalışma sırasında IAPS’ten seçilmiş olan toplamda 60 adet fotoğraf kullanılmış ve 13 adet katılımcıya sunulmuş ve göz takip cihazı kullanılarak katılımcıların göz verileri veri tabanına kaydedilmiştir. Sol ve sağ pupil büyüklükleri ve fiksasyon süresi sınıflama için girdi olarak kullanılmıştır. Üç sınıf kullanılararak, kNN, Naive Bayes, Destek Vektör Makinaları, Doğrusal Diskriminant analizi, karar ağacı ve lojistik regresyon teknikleri uygulanmıştır. Düşük sınıflandırma başarısından ötürü, işlem sadece pozitif ve negatif sınıflar için tekrar hesaplanmıştır. Bu iki emosyonel durum için %68’lik bir oran ile k-NN sınıflandırma yönteminde en yüksek sınıflandırma başarısına ulaşılmıştır. Naive Bayesçi Sınıflandırıcı ve DVM %55, LDA %50, karar ağaçları ve lojistik regresyon %48’lik başarıya ulaşmıştır. Kişilerin çeşitli uyaranlara verdiği emosyonel yanıtların göz hareketlerine yansıyabileceği ve göz hareketlerinden kişinin emosyonel uyarılma düzeyi hakkında fikir sahibi olunabileceği düşünülmektedir.

🔖

Cite This Article

METE, S., ÇAKIR, O., BAYAT, O., DURU, D. G., DURU, A. D. (2020). Classification of Emotional State based on Eye Movements. Bilişim Teknolojileri Dergisi, Cilt: 13 - Sayı: 2, 137–144. https://ajindex.com/articles/251804

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (17)

  1. P. R. Kleinginna, A. M. Kleinginna, “A categorized list of emotion definitions, with suggestions for a consensual definition,” Motivation and Emotion”, 5(4), 345–379, Kluwer Academic Publishers-Plenum Publishers, December, 1981
  2. A. S. R. Manstead, Psychology of Emotions, Sage Publications Ltd, 89, 2008
  3. M. Uğur, Medikal psikoloji, Sahhaflar Kitap Sarayı, 475-476, 1994
  4. P. Ekman, “An argument for basic emotions”, Cognition & Emotion, 6(3), 169- 200, 1992
  5. J. A. Russell, “A circumplex model of affect”, Journal of Pers. Soc. Psychol., 39, 1161–1178, 1980
  6. R. F. Staners, M. Coulter, A. W. Sweet, P. Murphy, “The papillary response as an indicator of arousal and cognition”, Motivation and Emotion, 3(4), 319-340, 1979
  7. G. S. Dichter, A. J. Tomarken, B. R. Baucom, “Startle modulation before, during and after exposure to emotional stimuli”, International Journal of Psychophysiology, 43, 191-196, 2002
  8. L. Ruiz-Padial, J. J. Sollers, J. Vila, J. F. Thayer, “The rhythm of the heart in the blink of an eye: Emotion-modulated startle magnitude covaries with heart rate variability”, Psychophysiology, 40, 306–313, 2003
  9. M. G. Calvo, P. J. Lang, “Gaze patterns when looking at emotional pictures: Motivationally biased attention”, Motivation and Emotion, 28, 221–243, 2004
  10. V. L. Kinner, L. Kuchinke, A. M. Dierolf, C. J. Merz, T. Otto, O. T. Wolf, “What our eyes tell us about feelings: Tracking pupillary responses during emotion regulation processes”, Psychophysiology, 54(4), 508-518, 2017
  11. R. Ambrosio, S. C. Schallhorn, S. E. Wilson, “The importance of pupil size in refractive surgery”, Refractive Surgery Outlook, American academy of ophtalmology, 2002
  12. R. Duffey, D. Leaming, “Trends in refractive surgery in the United States”, Journal of Cataract & Refractive Surgery, 30-8, 1781- 1785, 2004
  13. I. E. Loewensfeld, “The pupil: Anatomy, physiology, and clinical applications”, Iowa City: Iowa State University, 1993
  14. E. H. Hess, J. M. Polt, “Pupil size as related to interest value of visual stimuli”, Science, 132(3423), 349-50, 1960
  15. J. L. Armony, R. J. Dolan, “Modulating of spatial attention by fearconditioned stimuli: An event-related fMRI study”, Neuropsychologia, 40, 817–826, 2002
  16. K. Mogg, J. MacNamara, M. Powys, H. Rawlinson, A. Seiffer, B. P. Bradley, “Selective attention to threat: A test of two cognitive models of anxiety”, Cognition and Emotion, 14, 375–399, 2000
  17. E. H. Koster, G. Crombez, S. Van D