Video Görüntülerinde Şiddet İçeren Aktivitelerin Lstm Ağı İle Tespiti

Özet

Bilgisayarlı görü alanında hareket tanıma gerek RGB videolar, gerekse derinlik haritaları üzerinde fazlasıyla çalışılmış bir konu olmakla beraber; şiddet içeren hareketlerin tespiti göreli olarak az çalışılmış bir alandır. Gelişmekte olan teknoloji ve internet ağı sayesinde, büyük miktarlarda video verisine kolayca erişilebilmektedir. Bu sayede, birçok şiddet içerikli video da kolayca erişilebilir hale gelmiştir. Şiddet içeren sahnelere sahip videoların etiketlenmesi, güvenlik ve içerik tabanlı video arama sistemleri için önemlidir. Güvenlik kamera sistemleri genellikle şiddeti ve uygunsuz hareketleri tespit etmek için elverişsizdir. Büyük ölçekli bir güvenlik kamera sistemi için, bir operatörün tüm kameraları aynı anda izlemesi imkânsızdır. Öte yandan, video akışı sitelerine yüklenen videoları kontrol edebilen otomatik video değerlendirme ve etiketleme sistemleri için de giderek artan bir ihtiyaç bulunmaktadır. Bu nedenlerden ötürü şiddet tespiti daha da önem kazanan bir konu haline gelişmiştir. Bu çalışmada video görüntüleri üzerinde Transfer Öğrenme ve Long Short Term Memory (LSTM) ağı tabanlı bir yöntem önerilmiştir. Doğrudan RGB görüntülerinden, optik akış degerlerinin ve RGB çerçeve serilerinin türevi hesaplanarak elde edilen hız görüntülerinden GoogleNet kullanılarak derin öznitelikler elde edilmiştir. Elde edilen derin öznitelik serileri LSTM ağına girdi olarak verilmiştir. Önerilen yöntem literatürde bu tarz çalışmaların test edilmesinde yaygın olarak kullanılan Hockey Fight ve Violent Flow veri kümeleri ile test edilmiştir. Deney sonuçları literatürdeki çalışmalarla karşılaştırılabilir düzeydedir.

Abstract

Although action recognition is a widely studied area on both RGB videos and depth map, violent activity detection is a relatively less studied area. With developing technology and the growing internet, large-scale video data become easily accessible. This also makes videos with violent scenes accessible. Labeling the violent scenes in videos is important for the content-based multimedia retrieval systems. Standard surveillance systems are incapable of detecting violent and improper activities. It is impossible for a human operator to watch all the records for a large-scale surveillance system. On the other hand, there is an increasing demand for automatic labeling systems to check the videos uploaded into video streaming sites. For these reasons, the automatic detection of violent activities is becoming more and more important. In this study, we propose a Transfer Learning and LSTM (Long Short-Term Memory) network-based method. Deep features extracted form GoogleNet by using RGB sequences, velocity sequences and acceleration sequences computed from the first and second derivative of the pixels values are given into the LSTM network as input. The proposed method is tested with Hockey Fight and Violent Flow datasets that are commonly used in the literature. Experimental results are comparable to those in the literature.