SavedAdd your journal

Journals / Niğde Ömer Halisdemir Üniversitesi Mühendislik Bilimleri Dergisi / 2020 / Cilt: 9 - Sayı: 2

IMPROVING DEPTH MAP BASED ON CONVOLUTIONAL NEURAL NETWORK

EVRİŞİMLİ SİNİR AĞI TABANLI DERİNLİK HARİTASI İYİLEŞTİRME

Alper EMLEK
Murat PEKER
Pages
722–729
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

As a result, it is shown with quantitative and qualitative results that the proposed network structure can be used to increase the accuracy of the entrance depth maps.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:Depth information of an environment is used extensively in many applications that require depth information such as three-dimensional (3D) reconstruction and autonomous systems.
📊
Key Findings & Data:The proposed network has been tested on KITTI 2012 and KITTI 2015 datasets.
💡
Conclusion & Impact:As a result, it is shown with quantitative and qualitative results that the proposed network structure can be used to increase the accuracy of the entrance depth maps.
🔬Design:Research Article
📍Scope:2012 Verileri
⚙️Variables:Stereo Eşleşme · Derinlik Haritası · Derinlik Haritası Düzeltme

Abstract

Depth information of an environment is used extensively in many applications that require depth information such as three-dimensional (3D) reconstruction and autonomous systems. Obtaining depth information using stereo image pairs is one of the prominent study topics for many years. In recent years, developments in the field of deep learning have also affected the studies in the field of obtaining depth using stereo images. These studies mostly focus on obtaining and correcting depth (disparity) maps. In deep learning based depth map correction, correction operations over matching costs have enabled more successful results. However, it is not always possible to get matching costs directly. Disparity maps produced by some of the existing systems are provided to the end-user. In this study, a network structure that corrects only one image and disparity map are proposed. The proposed network has been tested on KITTI 2012 and KITTI 2015 datasets. As a result, it is shown with quantitative and qualitative results that the proposed network structure can be used to increase the accuracy of the entrance depth maps.

Özet

Bir ortamın derinlik bilgisi üç boyutlu yeniden oluşturma, otonom sistemler gibi derinlik bilgisine ihtiyaç duyulan birçok uygulamada yoğun olarak kullanılmaktadır. Stereo görüntü çiftleri kullanılarak derinlik bilgisi elde edilmesi, uzun yıllardır öne çıkan çalışma konuları arasında yer almaktadır. Son yıllarda derin öğrenme alanındaki gelişmeler, stereo görüntüler kullanılarak derinlik elde edilmesi alanında yapılan çalışmaları da etkilemiştir. Son dönemde, derin öğrenme tabanlı stereo eşleştirme alanındaki çalışmalar daha çok derinlik (eşitsizlik) haritalarının elde edilmesi ve düzeltilmesi alanında yoğunlaşmaktadır. Derin öğrenme tabanlı derinlik haritası düzeltme işlemlerinde eşleşme maliyetleri üzerinden yapılan düzeltme işlemleri daha başarılı sonuçlar üretilmesini sağlamıştır. Fakat eşleşme maliyetlerine doğrudan ulaşmak her zaman mümkün olmamaktadır. ZED ve Intel RealSense gibi hazır sistemler tarafından üretilen derinlik haritaları son kullanıcıya sunulmaktadır. Çalışmada sadece sol görüntü ve derinlik haritası aracılığıyla düzeltme işlemi yapan bir ağ yapısı önerilmiştir. Önerilen ağ, KITTI 2012 ve KITTI 2015 veri kümeleri üzerinde test edilmiştir. Deneysel çalışmalar sonucunda olarak giriş derinlik haritalarının doğruluğunun arttırılması için önerilen ağ yapısının kullanılabileceği nicel ve nitel sonuçlar ile gösterilmiştir.

🔖

Cite This Article

EMLEK, A., PEKER, M. (2020). IMPROVING DEPTH MAP BASED ON CONVOLUTIONAL NEURAL NETWORK. Niğde Ömer Halisdemir Üniversitesi Mühendislik Bilimleri Dergisi, Cilt: 9 - Sayı: 2, 722–729. https://ajindex.com/articles/290402

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (9)

  1. J. Žbontar and Y. LeCun, "Computing the stereo matching cost with a convolutional neural network", In Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 1592-1599.
  2. W. Luo, A. G. Schwing, and R. Urtasun, “Efficient deep learning for stereo matching”, In Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 5695-5703. D. Scharstein and R. Szeliski, “A taxonomy and evaluation of dense two-frame stereo correspondence algorithms”, International Journal of Computer Vision, vol 47, pp. 7 42, 2002.
  3. A. Emlek, M. Peker and K. F. Dilaver, "Variable window size for stereo image matching based on edge information," In. Proc. International Artificial Intelligence and Data Processing Symposium, 2017, pp. 1-4.
  4. A. Emlek, M. Peker and M. K. Yalçin, "Improving the cost-volume based local stereo matching algorithm," In Proc. Signal Processing and Communications Applications Conference, 2018, pp. 1-4.
  5. J. Sun, N. N. Zheng and H. Y. Shum, "Stereo Matching Using Belief Propagation", IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 25, no. 7, pp. 787-800, 2003. L. Hong and G. Chen, "Segment-based stereo matching using graph cuts", In Proc. Conference on Computer Vision and Pattern Recognition, 2004, pp. 74–81.
  6. P. Brandao, E. Mazomenos and D. Stoyanov, “Widening siamese architectures for stereo matching”, Pattern Recognition Letters, vol. 120, pp. 75-81, 2018. M. Poggi and S. Mattoccia, “Learning from scratch a confidence measure”, In Proc. British Machine Vision Conference, 2016, pp. 46.1-46.13. M. Poggi and S. Mattoccia, "Learning to Predict Stereo Reliability Enforcing Local Consistency of Confidence Maps", In. Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 4541-4550. A. Seki and M. Pollefeys, "Patch Based Confidence Prediction for Dense Disparity Map", In Proc. British Machine Vision Conference, 2016, pp. 23.1-23.13. F. Cheng, X. He, and H. Zhang,"Learning to refine depth for robust stereo estimation", Pattern Recognition, vol. 74, pp. 122–133, 2018.
  7. N. Mayer, E. Ilg, P. Hausser, P. Fischer, D. Cremers, A. Dosovitskiy and T. Brox, "A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation", In Proc. Computer Vision and Pattern Recognition, 2016, pp. 4040-4048.
  8. S. Kim, D. Min, S. Kim and K. Sohn, "Unified Confidence Estimation Networks for Robust Stereo Matching", IEEE Transactions on Image Processing, vol. 28, no. 3, pp. 1299-1313, 2019.
  9. S. Kim, S.