Journals / Politeknik Dergisi / 2023 / Cilt: 26 Sayı: 2
A Deep Learning-Based Super Resolution Approach for Thermal Face Images Using New Datasets
- Journal
- Politeknik Dergisi
- Pages
- 711–720
- DOI
- —
Abstract
Although thermal camera systems can be used in any application that requires the detection of temperature change, thermal imaging systems are highly costly systems and this situation makes difficult the common use of thermal systems. In addition, blurry images of low quality can occur when thermal images are obtained. In this article, super resolution application has been carried out on a data set consisting of thermal face images obtained from two different thermal cameras. The specified data set was created differently from traditional methods, low resolution (LR) thermal images were obtained from a 160x120 thermal resolution camera, while high resolution (reference) images were obtained from a camera with a thermal resolution of 640x480. Later, unnecessary parts of these images were cropped and another study was carried out by focusing only on the face area. A deep learning model based on adversarial generative networks (GAN) has been developed for these applications. The success performance of the results was evaluated by the image quality metrics PSNR (peak signal to noise ratio) and SSIM (structural similarity index). It has been observed that the results of the application performed by focusing only on the facial areas are better than the results of the application with original images. In addition, this study gave positive results in terms of approximating the resolution of the thermal images obtained by the less costly thermal camera to the resolution of the thermal camera, which has a high cost and can obtain high quality images, especially visually.
Özet
Termal kamera sistemleri, ısı değişiminin tespitini gerektiren her türlü uygulamada faydalanılabilmesine rağmen termal görüntüleme sistemleri oldukça yüksek maliyete sahip sistemlerdir ve bu durum termal sistemlerin yaygın bir şekilde kullanımını zorlaştırmaktadır. Ayrıca termal görüntüler elde edilirken düşük kalitede bulanık görüntüler meydana gelebilmektedir. Bu makalede, iki farklı termal kameradan elde edilen termal yüz görüntülerinden oluşan bir veri seti üzerinde süper çözünürlük uygulaması gerçekleştirilmiştir. Belirtilen veri seti geleneksel yöntemlerden farklı bir şekilde oluşturulmuş olup, düşük çözünürlüklü (LR) termal görüntüler 160x120 termal çözünürlüğe sahip kameradan elde edilirken yüksek çözünürlüklü(referans) görüntüler ise 640x480 termal çözünürlüğe sahip kameradan elde edilmiştir. Daha sonra bu görüntülerdeki gereksiz kısımlar kırpılarak sadece yüz bölgesine odaklanılarak başka bir çalışma daha gerçekleştirilmiştir. Bu uygulamalar için çekişmeli üretici ağlar (GAN) tabanlı bir derin öğrenme modeli geliştirilmiştir. Sonuçların başarı performansı görüntü kalite metrikleri PSNR (tepe sinyal gürültü oranı) ve SSIM (yapısal benzerlik endeksi) ile değerlendirmeye alınmıştır. Sadece yüz bölgelerine odaklanılarak gerçekleştirilen uygulamanın sonuçları orijinal görüntülerle yapılan uygulama sonuçlarına kıyasla daha iyi olduğu görülmüştür. Bunun yanı sıra bu çalışma, daha az maliyetli termal kamera tarafından elde edilen termal görüntülerin çözünürlüğünü, yüksek maliyete sahip olan ve yüksek kalitede görüntüler elde edilebilen termal kameranın çözünürlüğüne bilhassa görsel olarak yaklaştırma yönünden olumlu sonuçlar vermiştir.