Dergiler / Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi / 2020 / Cilt: 35 - Sayı: 2
Daha hızlı bölgesel evrişimsel sinir ağları ile köpek davranışlarının tanınması ve takibi
- Sayfa
- 819–834
- DOI
- —
Özet
Hayvan yüzlerinin, vücut duruşlarının, davranışlarının ve fiziksel hareketlerinin tespiti ve tanınması son zamanlarda disiplinlerarası bir alan olarak ön plana çıkmıştır. Bilgisayarlı görü yöntemi ile hayvanların davranışlarının tespitine, sonraki davranışların öngörülmesine ve hayvanların evcilleştirilmesine katkı sunabilir. Bu çalışmada, köpeklerin davranışlarının tespit edilmesi ve sınıflandırılması için derin öğrenmeye dayalı bir sistem önerilmiştir. Çalışmada öncelikle, insanlar ile temastan kaçınmayan köpeklerin davranışlarını içeren videolar toplanarak bir veri seti oluşturulmuştur. Elde edilen videolar üzerinde gerekli analizler yapıldıktan sonra belirlenen davranışlar videolardan çıkarılarak, daha anlamlı bölümlerden oluşan özelleştirilmiş bir veri seti geliştirilmiştir. Bu anlamlı video bölümlerinden anahtar çerçeveler seçilerek Daha Hızlı Bölgesel-Evrişimsel Sinir Ağları (DH B-ESA) ile davranışlar tanınmıştır. Son aşamada ise, köpeğin davranışı tanındıktan sonra, video üzerinde ilgili davranışlar takipçi ile izlenmiştir. Yapılan deneysel çalışmalar sonucunda, köpeklerin ağız açma, dil çıkarma, koklama, kulak dikme, kuyruk sallama ve oyun oynama davranışları incelenmiş ve bu davranışlar için sırasıyla %94.00, %98.00, %99.33, %99.33, %98.00, %98.67 doğruluk oranı elde edilmiştir. Çalışmada elde edilen sonuçlar ile anahtar çerçeve seçimi ve ilgi bölgelerin belirlenmesine dayalı önerilen yöntemin, köpeklerin davranışlarını tanımada başarılı olduğu görülmüştür.
Abstract
Recently, detection and recognition of animal faces, body postures, behaviors, and physical movements is became an interdisciplinary field. Computer vision methods can contribute to determine behaviors of animals and predict the following behavior of animals. Moreover, these methods would contribute to domesticate animals. In this study, a deep learning based system is proposed for the detection and classification of dog’s behaviour. In the study, firstly, a dataset is created by collecting videos containing the behavior of dogs which don’t avoid contact with people. After the necessary analysis on the obtained videos, a customized data set consisting of more meaningful sections is developed by extracting determined behaviors in videos. It is recognized the behavior with the Faster R-CNN (Faster Regional-Convolutional Neural Networks) by selecting key frames from these customized video sections. In the last stage, the related behaviors in videos are followed by video tracker after the behavior of the dog is recognized. As a result of experimental studies, the behaviors of dog such as opening the mouth, sticking out the tongue, sniffing, rearing the ear, swinging the tail and playing are examined and accuracy rates 94.00%, 98.00%, 99.33%, 99.33%, 98.00% and 98.67% are obtained for these behaviors, respectively. With the results obtained in the study, it is seen that our proposed method based on key frame selection and determination of regions of interest are successful in recognition the behavior of dogs.