Multi-View Object Tracking with Dynamic Fuzzy Cognitive Maps Using Deep Neural Networks

Derin Yapay Sinir Ağları Kullanan Dinamik Bulanık Bilişsel Haritalarla Çoklu Görüde Nesne Takibi

Abstract

Multi-view object tracking is an object tracking process based on calculating the location of the detected objects on the image frames obtained from a single imaging device in imaging systems where more than one imaging device is used, also on the image frames from other imaging devices. In order to solve the problem mentioned here, calculation methods in which different camera positions and orientations are generally used in the imaging system are used. With the increase in the ability of machine learning and artificial intelligence-based methods to solve problems in the field of computer vision, different artificial intelligence and machine learning-based methods can be used to perform the MVOT process. In this study, a new method using fuzzy cognitive maps has been developed for MVOT. Fuzzy cognitive maps are graph-based structures that take the features of real world systems or problems they deal with as a concept and perform the modeling or computation process iteratively using the relationships between these concepts. Today industry, health, energy, computer science etc. FCMs are used to solve problems in many areas such as. A more dynamic structure was needed for the proposed methods provided by fuzzy cognitive maps in the field of computer science in the literature. In this study, deep artificial neural networks were used to dynamically update the concept relations in the fuzzy cognitive map structure we developed for multi-view object tracking. The analysis of the experimental results was carried out with different performance calculations. In the analysis performed with the Intersection over Union method, which is used in the performance calculation of the MVOT-focused methods, it was observed that a minimum performance of 67.4%, maximum 99.8% and an average of 88.2% was achieved. When the literature studies are examined, the intersection rate calculated for the problem under consideration has a very high success.

Özet

Çoklu görüde nesne takibi, birden fazla görüntüleme aygıtının kullanıldığı görüntüleme sistemlerinde tek bir görüntüleme aygıtından elde edilen görüntü kareleri üzerinde tespit edilen nesnelerin diğer görüntüleme aygıtlarından gelen görüntü kareleri üzerinde de bulunduğu yerin hesaplanmasına dayalı nesne takip işlemidir. Burada bahsi geçen problemin çözümü için genelde görüntüleme sistemi içerisinde bulunan farklı kamera konum ve oryantasyonların içerisinde kullanıldığı hesaplama metotlarından yararlanılmaktadır. Makine öğrenmesi ve yapay zeka tabanlı yöntemlerin bilgisayarlı görü alanında problemlerin çözme kabiliyetinin artmasıyla beraber ÇGNT işlemini gerçekleştirmek için farklı yapay zeka ve makine öğrenmesi tabanlı yöntemlerden yararlanılabilmektedir. Bu çalışmada ÇGNT için bulanık bilişsel haritalardan yararlanan yeni bir yöntem geliştirilmiştir. Bulanık bilişsel haritalar, ele aldığı gerçek dünya sistem veya problemlerine ait özellikleri konsept olarak kabul eder. Daha sonra bu konseptler arasındaki ilişkileri kullanarak iteratif bir şekilde modelleme veya hesaplama işlemini geçekleştirir. Günümüzde endüstri, sağlık, enerji, bilgisayar bilimi vs. gibi birçok alanda problemlerin çözümünde BBH’lar kullanılmaktadır. Bulanık bilişsel haritaların literatürde bilgisayar bilimi alanında sağladığı çözüm önerileri için daha dinamik bir yapıya ihtiyaç duyulmuştur. Bu çalışmada çoklu görüde nesne takibi işlemi için geliştirdiğimiz bulanık bilişsel harita yapısında konsept ilişkilerinin dinamik bir şekilde güncellenmesi için derin yapay sinir ağlarından yararlanılmıştır. Deneysel sonuçların analizi farklı başarım hesaplama işlemleriyle gerçekleştirilmiştir. ÇGNT odaklı yöntemlerin başarım hesaplamasında kullanılan Birleşim Kesişimi (Intersection of Union) yöntemi ile yapılan analizlerde minimum %67,4 maksimum %99,8 ve ortalama %88,2 başarım elde edildiği gözlemlenmiştir. Ele alınan problem için hesaplanan kesişim oranı literatür çalışmaları incelendiğinde çok yüksek bir başarıma sahiptir.