Detection of an Assembly Part with Deep Learning and Image Processing

Abstract

This study was carried out to determine the number of accessories used in assembly projects at a company that produces doors, windows and winter gardens by using camera detection. For this purpose, object detection methods based on image processing and deep learning were used. Throughout the study, Google Colab Platform, Python Programming Language, OpenCV Library were used, thus, the detection and counting of the accessory parts in production were performed. First of all, photographs of the related parts were taken, labeling was done with the LabelImg graphic image insertion tool and the coordinates of the parts were obtained from the program as a text file. The outputs were divided into test and training data. Those outputs were transferred to the Google Colab Platform, training was carried out with the Yolo algorithm and at the end of the training, both camera access and part counting were performed using the OpenCV Library. Depending on the customer's request, the related company sends different projects and various accessory parts besides these projects. There is a separate code for each of the accessory part. It is time-consuming and tiring for the new workers to recognize these accessories and memorize their codes. It will require extra time for a new worker in the adaptation period to investigate the codes of the accessories that will be sent out on the paper prepared by the project engineers in the assembly process. Sometimes it will even cause mistakes and it will result in inefficiency. To prevent inefficiency in the assembly process and eliminate extra costs that may arise due to mistakes, Image Processing and Deep Learning methods were decided to be used. Following this study, appropriate results were achieved.

Özet

Bu çalışma; kapı, pencere ve kış bahçesi üretimi yapılan bir firmada, montaj projelerinde kullanılmakta olan aksesuarların kamera tespiti ile adedini belirlemek üzere yapılmış ve çalışmada görüntü işleme ve derin öğrenmeye dayalı nesne tespiti yöntemlerinden yararlanılmış, çalışmada Google Colab Platformu, Python Programlama Dili, OpenCV kütüphanesi kullanılmıştır. Öncelikle, ilgili parçaya ilişkin fotoğraf görüntüleri çekilip, LabelImg Grafiksel Resim Ekleme Aracı ile etiketleme işlemi yapılmış ve programdan parçanın koordinatları metin dosyası halinde elde edilmiştir. Bu çıktılar test ve eğitim verisi olarak ikiye ayrılmıştır. Bu çıktılar, Google Colab Platformuna aktarılmış, Yolo Algoritması ile eğitme işlemi yapılmış, eğitim sonunda OpenCV Kütüphanesi kullanılarak hem kameraya erişim hem de parça sayım işlemi gerçekleştirilmiştir. İlgili firma yurtdışına müşteri isteğine bağlı olarak farklı projeler ve bu projelerin yanında çeşitli aksesuar parçaları göndermektedir. Aksesuar parçalarının her biri için ayrı bir kod bulunmaktadır. İşe yeni başlayan işçiler için bu ürünleri tanımak, kodlarını ezberlemek zaman alıcı ve yorucu bir iştir. Alışma sürecinde montaj prosesinde çalışan işçi, proje mühendislerinin hazırladığı kâğıt üzerinde bulunan, oluşturulacak üründe gönderilecek aksesuarların kodlarını bilmediğinden, bunu araştırmak için ekstra bir zaman harcayacak, bazen hatalara ve verimsizliğe neden olacaktır. Çalışmada verimsizliği önlemek ve hatalardan dolayı ortaya çıkacak olan maliyetleri ortadan kaldırmak amacıyla Görüntü İşleme ve Derin Öğrenme yöntemleri kullanılmış, çalışma neticesinde uygun sonuçlara ulaşılmıştır.