Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightBulgular, derin öğrenme tabanlı uzamsal iyileştirme ile seyrek temsil tabanlı spektral füzyonun birlikte kullanılmasının, değerlendirilen koşullarda uzamsal ve spektral hata değerlerinin azaltılmasına katkı sağlayabileceğini göstermektedir.
📌 3 Maddede Bu Makale
Özet
Hiperspektral görüntüler, çok sayıda spektral bant içermeleri sayesinde nesnelere ait ayrıntılı bilgi sağlar; ancak görüntüleme sistemlerinin donanımsal kısıtları ve uzun görüntüleme mesafesi nedeniyle uzamsal çözünürlükleri çoğunlukla düşük kalmaktadır. Bu çalışmada, düşük uzamsal çözünürlüklü hiperspektral görüntülerin çözünürlüğünü artırmak amacıyla derin öğrenme ile seyrek temsili birleştiren hibrit bir süper çözünürlük yöntemi incelenmiştir. Önerilen yapıda uzamsal çözünürlük derin öğrenme modelleriyle iyileştirilirken, özgün düşük çözünürlüklü hiperspektral küpteki spektral bilginin yeniden oluşturulan görüntüye aktarılması Bayesçi seyrek temsil tabanlı sözlük öğrenme ile desteklenmiştir. Hesaplama yükünü azaltmak amacıyla iki boyutlu evrişim, her üç banttan seçilen bir banda uygulanmıştır. Derin evrişimsel ağ ve derin kalıntı ağ olmak üzere iki model, CAVE ve Harvard veri kümelerinde ×2, ×3 ve ×4 ölçek faktörlerinde RMSE ve SAM ölçütleri kullanılarak değerlendirilmiştir. Veri kümesi ortalamalarına göre derin kalıntı ağ tabanlı hibrit model, değerlendirilen yöntemler arasında tüm ölçek faktörlerinde en düşük RMSE ve SAM değerlerini vermiştir. CAVE veri kümesinde RMSE/SAM değerleri ×2, ×3 ve ×4 için sırasıyla 2,0146/2,8507, 2,1380/4,0742 ve 2,4712/5,1211; Harvard veri kümesinde ise 1,5753/2,1328, 1,7373/2,7135 ve 2,1524/3,3576 olarak elde edilmiştir. SCT_SDCNN ile karşılaştırıldığında SAM değerlerindeki azalma CAVE için %19,12-%24,80, Harvard için %21,93-%26,02 aralığındadır. Bulgular, derin öğrenme tabanlı uzamsal iyileştirme ile seyrek temsil tabanlı spektral füzyonun birlikte kullanılmasının, değerlendirilen koşullarda uzamsal ve spektral hata değerlerinin azaltılmasına katkı sağlayabileceğini göstermektedir. Yöntemin hedef veriye benzer özelliklerde eğitim verisine ihtiyaç duyması temel sınırlılıklardan biridir.
Abstract
Background/Aim: Hyperspectral images provide rich spectral information but often suffer from low spatial resolution due to hardware limitations and long imaging distances. This study aims to enhance the spatial resolution of low-resolution hyperspectral images while preserving their spectral information by proposing a hybrid super-resolution method that combines deep learning and sparse representation. Methods: The proposed framework comprises two components. Spatial resolution is enhanced using deep learning models, while the spectral information of the original low-resolution hyperspectral cube is reintroduced into the reconstructed image through Bayesian sparse-representation-based dictionary learning. A deep convolutional network and a deep residual network were adapted to hyperspectral images. To reduce the convolutional workload, two-dimensional convolution was applied to one band selected from every three bands. The method was evaluated on the CAVE and Harvard datasets at scale factors of ×2, ×3, and ×4 using root mean square error (RMSE) and spectral angle mapper (SAM), and was compared with bicubic interpolation, GFPCA, and SCT_SDCNN. Results: At the dataset-average level, the deep residual network-based hybrid model yielded the lowest RMSE and SAM values among the evaluated methods at all three scale factors. On CAVE, the RMSE/SAM values were 2.0146/2.8507, 2.1380/4.0742, and 2.4712/5.1211 at ×2, ×3, and ×4, respectively. The corresponding values on Harvard were 1.5753/2.1328, 1.7373/2.7135, and 2.1524/3.3576. Relative to SCT_SDCNN, the SAM reductions ranged from 19.12% to 24.80% on CAVE and from 21.93% to 26.02% on Harvard. Conclusion: The findings suggest that combining deep-learning-based spatial enhancement with sparse-representation-based spectral fusion can support lower spatial and spectral reconstruction errors under the evaluated conditions. The need for training data with characteristics comparable to the target data remains a limitation.