Bir Gizli Katmanlı Yapay Sinir Ağlarında Optimal Nöron Sayısının İncelenmesi

Temel Bulgular & Veri:Ayrıca baskı maliyet fonksiyonu XOR veri kümesi ve daire veri kümesi üzerinde test edilmiş ve XOR veri kümesi üzerinde %99, daire veri kümesi üzerinde ise %97 başarı elde edilmiştir.

💡

Sonuç & Katkı:Bu veri kümeleri için optimal nöron sayısı tespit edilmiştir.

🔬Tür:Modelleme & Sayısal Simülasyon

📍Kapsam:Genişletilmiş Akademik Örneklem

⚙️Değişkenler:Derin Öğrenme · Yapay sinir ağları · Tam bağlı katman

Özet

Bu makalede, bir gizli katmanlı yapay sinir ağları için optimal nöron sayısı araştırılmıştır. Bunun için teorik ve istatiksel çalışmalar yapılmıştır. Optimal nöron sayısını bulmak için global minimum bulmak gereklidir. Ancak yapay sinir ağlarının eğitimi konveks olmayan bir problem olduğundan optimizasyon algoritmaları ile global minimum bulmak zordur. Bu çalışmada global minimumu dolayısıyla optimum nöron sayısını bulmak için baskı maliyet fonksiyonu önerilmiştir. Baskı maliyet fonksiyonu yardımıyla global minimumu veren yapay sinir ağı modelinin nöron sayısının, optimal nöron sayısını verdiği gösterilmiştir. Ayrıca baskı maliyet fonksiyonu XOR veri kümesi ve daire veri kümesi üzerinde test edilmiş ve XOR veri kümesi üzerinde %99, daire veri kümesi üzerinde ise %97 başarı elde edilmiştir. Bu veri kümeleri için optimal nöron sayısı tespit edilmiştir.

Abstract

In this paper, optimal number of neurons in one-hidden-layer artificial neural networks is investigated. Theoretical and statistical studies are carried out for this goal. Finding the global minimum is necessary in order to determine the optimal number of neurons. However, since the training of artificial neural networks is a non-convex problem, it is difficult to find a global minimum with optimization algorithms. In this study, an augmented cost function is proposed to find the global minimum, hence the optimal number of neurons. It is shown that the optimal number of neurons is produced by the artificial neural network model, which gives the global minimum with the aid of the augmented cost function. Additionally, the XOR and circle datasets are used to test the augmented cost function, and 99% success was achieved on the XOR dataset and 97% on the circle dataset. The optimal number of neurons is determined for these datasets.

Anahtar kelimeler

Derin Öğrenme Yapay sinir ağları Tam bağlı katman XOR problemi Nöron sayısı Deep Learning Artificial Neural Networks Fully-Connected Layer XOR Problem Number of Neuron

🔖

Bu Makaleye Atıf Yap

ÜNAL, T., ÇİFTÇİ, Ü., URGAN, N. N. (2022). Bir Gizli Katmanlı Yapay Sinir Ağlarında Optimal Nöron Sayısının İncelenmesi. Süleyman Demirel Üniversitesi Fen Edebiyat Fakültesi Fen Dergisi, Cilt: 17 - Sayı: 2, 303–325. https://ajindex.com/articles/863844

📄 Tam Metin PDF Okuyucu

Yeni Sekmede Aç ↗

↗Yeni Sekme

📄

PDF görüntüleyici hazırlanıyor...

Kaynakça (10)

I. Goodfellow, Y. Bengio and A. Courville, Deep Learning. MIT Press, Cambridge, 2016. M. Şahan ve Y. Okur, “Akdeniz bölgesine ait meteorolojik veriler kullanılarak yapay sinir ağları yardımıyla güneş enerjisinin tahmini,” Süleyman Demirel Üniversitesi Fen Edeb. Fakültesi Fen Derg., 11 (1), 61–71, 2016. M. Şahan, “Yapay sinir ağları ve angström-prescott denklemleri kullanılarak Gaziantep, Antakya ve Kahramanmaraş için global güneş radyasyonu tahmini,” Süleyman Demirel Üniversitesi Fen Edeb. Fakültesi Fen Derg., 16 (2), 368–384, 2021.
A. Zhang, Z. C. Lipton, M. Li and A. J. Smola, “Dive into deep learning, ” arXiv, 2020. C. F. Higham and D. J. Higham, “Deep learning: an introduction for applied mathematicians,” SIAM Rev., 61 (4), 860–891, 2019.
R. Vidal, J. Bruna, R. Giryes and S. Soatto, “Mathematics of deep learning,” arXiv, 2017.
K. P. Murphy, Probabilistic Machine Learning: An introduction. MIT Press, Cambridge, 2022.
C. M. Bishop, Pattern Recognition and Machine Learning. Springer, New York 2021.
F. Chollet, Deep Learning with Python. 2nd Ed. Manning Publications, 2017. A. Géron, Hands-On Machine Learning with Scikit-Learn. O'Reilly, USA, 2017. B. D. Haeffele and R. Vidal, “Global optimality in neural network training,” CVPR, 2 (3), 4390-4398, 2017. R. Setiono, “A penalty-function approach for pruning feedforward neural networks,” Neural Comput., 9 (1), 185–204, 1997. Z. Zhang and J. Qiao, “A node pruning algorithm for feedforward neural network based on neural complexity,” Proc. 2010 Int. Conf. Intell. Control Inf. Process., 1, 406–410, 2010. M. M. Bejani and M. Ghatee, “A systematic review on overfitting control in shallow and deep neural networks,” Artif. Intell. Rev., 54 (8), 6391–6438, 2021.
X. Wu, P. Rózycki and B. M. Wilamowski, “A hybrid constructive algorithm for single-layer feedforward networks learning,” IEEE Trans. Neural Netw. Learn. Syst., 26, 1659–1668, 2015.
J. Qiao, F. Li, H. Han and W. Li, “Constructive algorithm for fully connected cascade feedforward neural networks,” Neurocomputing, 182, 154–164, 2016.
Y. Bengio, N. L. Roux, P. Vincent, O. Delalleau and P. Marcotte, “Convex neural networks,” Adv. Neural Inf. Process. Syst., 123–130, 2005. C. L. P. Chen and Z. Liu, “Broad learning system: an effective and efficient incremental learning system without the need for deep architecture,” IEEE Trans. Neural Netw. Learn. Syst., 29 (1), 10–24, 2018.
W. J. Puma-Villanueva, E. P. dos Santos and F. J. Von Zuben, “A constructive algorithm to sy