Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightKarcıFANN yöntemiyle ağa dışarıdan müdahale minimuma indirilerek diğer yöntemlerde karşılaşılan öğrenememe, ezberleme, türevlerin kaybolması ve türev patlaması gibi önemli problemler daha başarılı bir şekilde çözülmektedir.
📌 3 Maddede Bu Makale
Özet
Yapay sinir ağlarının (YSA) eğitiminin başarılı bir şekilde gerçekleşmesi birçok hiperparametreye bağlıdır. Optimizasyon yöntemi, başarımı doğrudan etkileyen hiperparametrelerden biridir. YSA çalışmalarında gradyan (türev) tabanlı optimizasyon yöntemleri popüler olarak kullanılmaktadır. Optimizasyon sürecinde türevlenebilir fonksiyonların kullanılması, her eğitim adımında hata değerlerinin ölçülmesini ve bu hataların düşürülmesini sağlamaktadır. Gradyan tabanlı Stokastik Gradyan İniş (SGD) yönteminde sabit bir öğrenme katsayısı parametresi kullanılmaktadır. Öğrenme katsayısının başarıma etkisinin tam olarak bilinememesi, önemli bir problemdir. Bu problem, modelin tam olarak ifade edilememesine neden olmaktadır. Bu çalışmada, SGD yöntemindeki öğrenme katsayısı yerine Karcı kesir dereceli türevin kullanıldığı KarcıFANN yöntemi ile literatürde yer alan diğer türev tabanlı Gradyan İniş (GD), Stokastik Gradyan İniş (SGD), momentumlu SGD, Uyarlanabilir gradyan algoritması (AdaGrad) ve Ortalama Karekök Yayılımı (RMSProp) optimizasyon yöntemleri matematiksel olarak ifade edilmektedir. KarcıFANN yöntemiyle ağa dışarıdan müdahale minimuma indirilerek diğer yöntemlerde karşılaşılan öğrenememe, ezberleme, türevlerin kaybolması ve türev patlaması gibi önemli problemler daha başarılı bir şekilde çözülmektedir.
Abstract
The successful training of artificial neural networks (ANNs) depends on many hyperparameters. Among these, the optimization method is one of the hyperparameters that directly affects performance. In ANN studies, gradient (derivative)-based optimization methods are widely used. The use of differentiable functions in the optimization process enables the error values to be measured at each training step and allows these errors to be minimized. In the gradient-based Stochastic Gradient Descent (SGD) method, a fixed learning rate parameter is used. The fact that the exact effect of the learning rate on performance cannot be fully determined constitutes a significant problem. This problem prevents the model from being properly expressed.In this study, the KarcıFANN method, which replaces the learning rate in the SGD method with the Karcı fractional-order derivative, is mathematically formulated together with other derivative-based optimization methods in the literature, including Gradient Descent (GD), Stochastic Gradient Descent (SGD), momentum-based SGD, Adaptive Gradient Algorithm (AdaGrad), and Root Mean Square Propagation (RMSProp). With the KarcıFANN method, external intervention in the training process is minimized, and important problems encountered in other methods—such as failure to learn, overfitting, vanishing gradients, and exploding gradients—are addressed more successfully.