Gerçek Zamanlı Derin Öğrenme Yaklaşımı ile Şüpheli Geçişlerin Otomatik Tespiti

Özet

Havalimanı, adliye, spor salonu gibi kamusal alanlarda yer alan güvenlik kamera sistemleri ya aranan şahısların bulunması ya da bir operatör tarafından gözlemlenerek şüpheli davranışların tespiti için kullanılmaktadır. Bu tip alanlar içerisinde yer alan koridor gibi bölgelerde sıradan bir kişinin kısa bir süre içinde mükerrer geçişleri şüpheli bir davranış olarak tanımlanabilmektedir. Lakin çok sayıda kameranın tek bir operatör çalışanı tarafından takip edilmesi özellikle kalabalık alanlar içinde bu tip bir şüpheli davranışın tespitini zorlaştırmaktadır. Bu nedenle karar destek sistemlerine ihtiyaç duyulmaktadır. Görüntüler üzerinde kişilerin belirlenmesi, bu kişilerin bir geçici kimlik kazandırılarak bir veri tabanı üzerinde geçişlerinin tutulması gerçekleştirilir ise şüpheli davranışın bir karar destek sistemi tarafından operatöre rapor edilmesi sağlanabilir. Bu nedenle bu çalışma kapsamında halihazırda görüntü sağlayan gerçek zamanlı güvenlik kamera görüntüleri üzerinde MTCNN tabanlı yüz tespiti ve elde edilen şahıs imgeleri üzerinde ResNet ile eğitilmiş bir derin öğrenme algoritması ile gerçekleştirilmiş yüz noktalarından oluşturulmuş kimlik verme yöntemi bir arada kullanılmıştır. Elde edilen geçici kimlik bilgileri yorumlanarak şüpheli davranışların tespit edilebileceği ortaya konulmuştur. Uygulamanın başarısı deneysel olarak sınanmış ve elde edilen sonuçlardaki başarım ve hata nedenleri tartışılmıştır.

Abstract

Security camera systems especially in public areas such as airports, courthouses or sports facilities etc. are used to find fugitive persons or detect suspicious behaviors manually under the monitoring of an operator. In hallway-like sections in public facilities, repeated appearances of an unknown ordinary person in a short span of time can be defined as suspicious behavior. However, the fact that multiple cameras are monitored by a single operator makes it harder to detect suspicious behaviors especially in crowded fields. Therefore, support decision systems are required to support operator. If individuals are detected on images automatically and their appearances on the camera are recorded on a database by giving them a temporary identity, suspicious behaviors can be reported to an operator as a support decision system. For this reason, two different methods are used together as a hybrid solution in the study; a MTCNN based facial detection is used on the real time security camera images that currently provide face images, and an identification method, created with facial landmarks produced with a deep learning algorithm that was trained with res-net, was used on the obtained person’s face images. It has been presented that suspicious behaviors can be detected by interpreting the temporary identity information that was obtained. The success of the application was experimentally tested, and the causes of success and failures in the results were discussed.