Dergiler / Avrupa Bilim ve Teknoloji Dergisi / 2021 / Ejosat Özel Sayı 2021 (HORA)

Videoların Derin Öğrenme ile Sınıflandırılarak Filtrelenmesi

Filtering Videos by Classification with Deep Learning

Sayfa
338–342
Yayın Tarihi
2021-07-31
DOI
—
🏛️Bu makalenin bibliyografik verileri ve tam metin bağlantısı DergiPark üzerinden sağlanmıştır.
DergiPark Kaydı ↗
✨

Yapay Zeka Hızlı Bakış & Çıkarımlar

AI Insight
⚡ TL;DR(1 Cümlede Hızlı Çıkarım)

Yapılan çalışma sonucunda, video içeriklerini filtrelemek için CNN modelinin daha verimli olacağı bulgusuna ulaşılmıştır.

📌 3 Maddede Bu Makale

🎯
Amaç & Hipotez:Bu çalışmada derin öğrenme metodu olan evrişimli sinir ağları (Convolutional Neural Networks - CNN) ve transfer öğrenme metodu kullanılarak tütün mamulleri, alkollü içecek ve silah gibi istenmeyen nesnelerin tespitini ve sınıflamasını yapan bir model geliştirilmiştir.
📊
Temel Bulgular & Veri:Tarayıcıdan yapılan tespitlerin son 25 tanesi bilgilendirme amaçlı kullanıcı tarafından görüntülenebilmektedir.
💡
Sonuç & Katkı:Yapılan çalışma sonucunda, video içeriklerini filtrelemek için CNN modelinin daha verimli olacağı bulgusuna ulaşılmıştır.
🔬Tür:Literatür & Derleme Çalışması
📍Kapsam:752.707 adet
⚙️Değişkenler:Evrişimli sinir ağları (CNN) · derin öğrenme · video filtreleme

Özet

Bu çalışmada derin öğrenme metodu olan evrişimli sinir ağları (Convolutional Neural Networks - CNN) ve transfer öğrenme metodu kullanılarak tütün mamulleri, alkollü içecek ve silah gibi istenmeyen nesnelerin tespitini ve sınıflamasını yapan bir model geliştirilmiştir. Bu model Tensorflow JS’e dönüştürülerek, internet tarayıcısı için bir eklenti olarak geliştirilmiştir. Bu eklenti ile izlenen videolardan anlık görüntüler alınarak eğitilen model üzerinde sınıflandırmalar yapılmıştır. Videolar üzerinde yapılan sınıflamalarda gerekli görülen sonuçlar, Google tarafından sağlanan bir bulut hizmeti olan Firebase’in RealTimeDatabase’ e kaydedilmiştir. Kaydedilen veri tabanı kullanılarak daha önceden kötü içerik tespiti yapılmış videoların engellenmesi sağlanmıştır. Tarayıcıdan yapılan tespitlerin son 25 tanesi bilgilendirme amaçlı kullanıcı tarafından görüntülenebilmektedir. Bu çalışmada, izlenen videolardan anlık görüntüler alınarak model ile sınıflama yapılmıştır. Gerekli hallerde videonun bilgisi veri tabanına eklenebilmektedir ve veri tabanına kayıtlı videoların görüntülenmesi filtre edilebilmektedir. Geliştirilen sistem hem fiziksel cihazlar hem de emülatör aracılığıyla test edilmiştir. CNN ile geliştirilen derin öğrenme modelinin ağ yapısı oluşturulmasında iki yol benimsenmiştir. Birincisinde, tüm ağ modeli tarafımızca oluşturduğumuz modeldir. Bu modelde, parametre sayısı 7.752.707 adettir ve %86,75 eğitim ve %88,02 test doğruluğu elde edilmiştir. İkinci olarak, transfer öğrenme metodu kullanılarak, başarısı literatürde kanıtlanmış modellerden olan MobileNetV2 tercih edilmiştir. Çıkış katmanları düzenlenmiş bu modelde eğitilebilir 593.155 adet ve toplamda 2.852.675 adet parametre ile %65,34 eğitim ve %50,35 test doğruluğu elde edilmiştir. Yapılan çalışma sonucunda, video içeriklerini filtrelemek için CNN modelinin daha verimli olacağı bulgusuna ulaşılmıştır.

Abstract

In this study, a model that detects and classifies unwanted objects such as tobacco products, alcoholic beverages and weapons was developed using Convolutional Neural Networks (CNN), which is a deep learning methods and transfer learning. This model was converted to Tensorflow JS and developed as an add-on for an Internet Browser. With this add-on, snapshots were taken from the watched videos and classifications were made using the trained model. The results that are deemed necessary in the classification of the videos were recorded to Firebase's RealTimeDatabase, a cloud service provided by Google. By using the recorded database, videos that had previously been detected with harmful content were blocked. The last 25 of the definitions made from the browser can be viewed by the user for informational purposes. In this study, snapshots from watched videos were taken and classified with the model. If necessary, information about the video can be added to the database, and videos saved in the database can be filtered. The developed system has been tested through both physical devices and emulator. Two ways have been adopted in creating the network structure of the model developed with CNN. First, the entire network model is the one that is created by us. In this model, the number of parameters was 7,752,707 and the accuracy of 84.84% training and 79.77% testing was achieved. Second, MobileNetV2, which is one of the models whose success has been proven in the literature, was preferred using the transfer learning method. With 593,155 trainable parameters and 2,852,675 parameters in total, 65.34% training and 50.35% test accuracy was achieved in this model with output layers arranged. As a result of the study, it was found that the CNN model would be more efficient in filtering video content.

🔖

Bu Makaleye Atıf Yap

KAZANÇ, M., ENSARİ, T., DAĞTEKİN, M. (2021). Videoların Derin Öğrenme ile Sınıflandırılarak Filtrelenmesi. Avrupa Bilim ve Teknoloji Dergisi, Ejosat Özel Sayı 2021 (HORA), 338–342. https://ajindex.com/articles/471327

📄 Tam Metin PDF Okuyucu

📄

PDF görüntüleyici hazırlanıyor...

Kaynakça (2)

  1. . Kaggle: https://www.kaggle.com/ adresinden alındı (2021). ImageNet: https://image-net.org/ adresinden alındı (2021). COCO: https://cocodataset.org/ adresinden alındı Abu-El-Haija, S., Kothari, N., Lee, J., Natsev, P., Toderici, G., Varadarajan, B., & Vijayanarasimhan, S. (2016, 9 27). YouTube-8M: A Large-Scale Video Classification Benchmark. arxiv.org: https://arxiv.org/abs/1609.08675 adresinden alındı Bhatti, M. T., Khan, M. G., Aslam, M., & Fiaz, M. J. (2021, 2 12). Weapon Detection in Real-Time CCTV Videos Using Deep Learning. IEEE Access, s. 34366 - 34382. doi:10.1109/ACCESS.2021.3059170 Bochkovskiy, A., Wang, C.-Y., & Liao, H.-Y. M. (2020, 4 23). YOLOv4: Optimal Speed and Accuracy of Object Detection. arxiv.org: https://arxiv.org/abs/2004.10934 adresinden alındı Chen, Y.-L., Chang, C.-L., & Yeh, C.-S. (2017, Eylül). Emotion classification of YouTube videos. Decision Support Systems, s. 40-50. doi:10.1016/j.dss.2017.05.014 Hammam, A. M. (2019).
  2. An Extensible, Modular Framework for Classifying YouTube Videos Using Web and Social Media. 2019 IEEE Conference on Multimedia Information Processing and Retrieval (MIPR). IEEE. doi:10.1109/MIPR.2019.00092 Howard, A. G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T.,. Adam, H. (2017, 4 17). MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. arxiv.org: https://arxiv.org/pdf/1704.04861.pdf adresinden alındı Jia, C., Wang, S., Zhang, X., Wang, S., Liu, J., Pu, S., & Ma, S. (2019). Content-Aware Convolutional Neural Network for In-Loop Filtering in High Efficiency Video Coding. IEEE Transactions on Image Processing, 3343-3356. doi:10.1109/TIP.2019.2896489 Jia, Y., Chen, W., Yang, M., Wang, L., Liu, D., & Zhang, Q. (2021). Video smoke detection with domain knowledge and transfer learning from deep convolutional neural networks. Optik(240). doi:10.1016/j.ijleo.2021.166947 Jing, L., Parag, T., Wu, Z., Tian, Y., & Wang, H. (2021). VideoSSL: Semi-Supervised Learning for Video Classification. Winter Conference on Applications of Computer Vision (WACV) (s. 1110-1119). IEEE/CVF. Karpathy, A., Toderici, G., Shetty, S., Leung, T., Sukthankar, R., & Fei-Fei, L. (2014). Large-Scale Video Classification with Convolutional Neural Networks. 2014 IEEE Conference on Computer Vision and Pattern Recognition. IEEE. doi:10.1109/CVPR.2014.223 LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 436-444. doi:10.1038/nature14539 Lee, H. (2019). Cigarette Smoker Detecti