Adaptif Sigmoid, Lojistik Sigmoid ve Tanjant Hiperbolik Aktivasyon Fonksiyonların Tam Bağlı ve Konvolüsyonel Sinir Ağlarında Kıyaslanması

Comparison of Adaptive Sigmoid, Logistic Sigmoid and Tangent Hyperbolic Activation Functions in Fully Connected and Convolutional Neural Networks

Özet

Sinir ağının başarısını aktivasyon fonksiyonu doğrudan etkileyen bir parametredir. Genellikle lineer olmayan aktivasyon fonksiyonlar karmaşık problemleri çözebilmek için kullanılır. Lojistik sigmoid fonksiyon ve tanjant hiperbolik fonksiyon en yaygın kullanılan aktivasyon fonksiyonlarındandır. Aktivasyon fonksiyonunda serbest parametrenin bulunması fonksiyonun adaptif olmasını sağlar. Bu çalışmada genelleştirilmiş sigmoid tabanlı adaptif aktivasyon fonksiyonu incelenmiş ve tam bağlı ve konvolüsyonel sinir ağ mimarili yapılarda standart lojistik sigmoid ve tanjant hiperbolik fonksiyonla kıyaslanmıştır. Elde edilen deneysel sonuçlar, serbest parametreler sayesinde ağın daha hızlı eğitildiğini ancak aşırı uyumlamaya daha yatkın olduğunu göstermektedir.

Abstract

Activation function is a parameter that directly affects the success of the neural network. Generally, nonlinear activation functions are used to solve complex problems. Logistic sigmoid function and tangent hyperbolic function are the most commonly used activation functions. The presence of a free parameter in the activation function makes the function adaptive. In this study, generalized sigmoid-based adaptive activation function was investigated and compared with standard logistic sigmoid and tangent hyperbolic function in fully connected and convolutional neural network architectures. The experimental results show that the network is trained faster thanks to the free parameters, but it is more prone to overfitting.

Anahtar kelimeler: Adaptif Aktivasyon Fonksiyonu, Tam Bağlı Sinir Ağ, Konvolüsyonel Sinir Ağ