Konvolüsyonel Sinir Ağına Sahip Akıllı Kontrol Cihazları

Özet

Bir konvolüsyon sinir ağı (CNN) bir veya daha fazla konvolüsyon katmanları (genellikle bir alt örnekleme) ile oluşur ve ardından bir veya daha fazla tam katman, çok katmanlı sinir ağı olarak izler. CNN mimarisi 2D giriş görüntü (veya konuşma sinyali gibi diğer 2D giriş) yapısının yararlanmak için tasarlanmıştır. Bu sonuç yerel bağlantılar ile elde edilir ve statik parçaların çevirisi toplama sonuçları türü tarafından takip ağırlık ile ilgilidir. CNN'lerin diğer bir avantajı, eğitilmesi daha kolaydır ve aynı sayıda gizli birimle daha az tam ağ parametrelerine sahiptir. Bu tezin amacı, yakalama cihazı (kamera) kullanılarak el hareketlerini otomatik olarak algılayabilen. Konvolüsyonel sinir ağı kullanarak gerçek zamanlı olarak görüntü işleme sistemini tasarlayıp yürütmektir. Program, konvülsiyonel sinir ağıyla elle hareket tespiti yapacak; işitme engelli ve görme engelli insanlara yardım ederek evlerinde cihazlara kontrol etmelerine yardımcı olacak, aynı anda birçok farklı jesti algılayabilecek ve taleplerini yerine getirmek için onlara yardımcı olacaktır. Bu program ile el hareketleri kullanarak elektrik, Mekanik veya elektronik olup olmadığı kontrol edinilebilecektir. Program aynı zamanda işitme engelli insanlara işaret dilini öğretmek için kullanılabilecektir. Keras makine öğrenme Kütüphanesi kullanılarak, CNN modelini eğitmek ve oluşturmak için gerekli yazılım Python’da geliştirilecektir. Ayrıca Python, yakalama cihazından (kamera) görüntü tanıma taleplerini bekleyen istemci tarafındaki soketi çalıştırıyor ve fonksiyonları internet üzerinden çıkış birimine (Arduino) gönderiyordu. Ayrıca 3. parti ortamı (firebase) var, donanımı yazılımla birleştirmek için ortam olarak çalışıyor.

Abstract

A neural network convolutional (CNN) is composed of one or more convolutional layers (often with a step of sub-sampling) and then followed by one or more full layers, as in a neural network multilayer. The architecture of CNN is designed to take advantage of the structure to a 2D input image (or other 2D input such as a speech signal). This result is obtained with local connections and are relevant to the weight, followed by the type of aggregation results in the translation of the static parts. Another advantage of the CNNs so that it is easier to train and they have a fewer number of parameters of the full network with the same number of hidden units. See all the tutorials on convolution and collecting for more details of this operation. The goal of this work is to design and execute a system using Convolutional Neural Network that capable of automatically detect and recognize hand gesture through capture and process image in real time by using capture device (camera) . The program going to be on hand gesture detection with convolutional neural network , and it can be detect many different types of gestures at same time that will be used for helping disabled , deaf or blind people that will helping them to control things in their House and helping them for fulfilling their demands.With this program we can control electrical devices, mechanicals or electronics by using hands gestures . The program also can be used as teaching the deaf peoples to learn sign language. The code for training and creating the CNN model will be in Python using the Keras machine learning.