Classification of Violent Activities with Optical Flow Image and Bi-Lstm

Optik Akış Görüntüsü ve Bi-Lstm ile Şiddet İçeren Hareketlerin Sınıflandırılması

Abstract

The need for automated motion recognition systems is increasing due to the rapid increase in the number of security cameras. Although motion recognition is a hot topic in the field of computer vision, the classification of violent scenes is of great importance due to its relation to human and community safety. Optical flow is often used in the detection and modeling of motion in video images. In this study, a method that can be used to recognize violent activities using optical flow and deep learning has been proposed. The components of the optical flow series of a video series were combined into a 3-channel image and pre-trained VGG-16 was input into the convulsive neural network. A Bi-Lstm (Bidirectional long short term memory) classifier has been trained with the deep quality series derived from the VGG-16 network. The proposed method was tested with two different data sets in the literature and comparable and higher classifying results were obtained.

Özet

Otomatik hareket tanıma sistemlerine ihtiyaç, güvenlik kameralarının sayısındaki hızlı artıştan dolayı giderek artmaktadır. Harekettanıma, bilgisayarlı görü alanında güncel bir araştırma alanı olmasına karşın şiddet içeren sahnelerin tespiti insan ve toplum güvenliğiylede ilişkili olması sebebiyle büyük önem taşımaktadır. Optik akış video görüntülerindeki hareketlerin tespit ve modellenmesinde sıklıklakullanılan bir yaklaşımdır. Bu çalışmada optik akış ve derin öğrenme kullanılarak şiddet içeren aktivitelerin tanınmasındakullanılabilecek bir yöntem önerilmiştir. Bir video serisine ait optik akış serisinin bileşenleri birleştirilerek üç kanallı bir görüntü halinegetirilmiş ve önceden eğitilmiş VGG-16 evrişimsel (convolutional) sinir ağına girdi olarak verilmiştir. VGG-16 ağından elde edilenderin nitelik serileri ile bir Bi-Lstm (Bidirectional long short term memory) sınıflayıcısı eğitilmiştir. Önerilen yöntem literatürde yeralan iki farklı veri kümesi ile test edilmiş ve literatürde yer alan diğer yaklaşımlar ile karşılattırılabilir ve daha yüksek sınıflamabaşarımına sahip sonuçlar elde edilmiştir.