Yaklaşım performanslarını kıyaslayabilmek için optimal noktaya yakınsama hızı ve toplam hesaplama maliyeti kıstasları değerlendirilmiştir.
📌 3 Key Takeaways
🎯
Objective & Hypothesis:Yönsel türev tabanlı yakınsama yaklaşımları, doğrusal olmayan bir maliyet fonksiyonunu (J(θ)) minimize veya maksimize etmek için θ parametre vektörünü iteratif olarak güncelleme mantığına dayanmaktadır.
📊
Key Findings & Data:Yapay öğrenme alanında sık kullanılan bu yaklaşımlarla güncelleme yapılırken maliyet fonksiyonunun ilgili parametreye göre yönsel türev bilgisi kullanılır.
💡
Conclusion & Impact:Yaklaşım performanslarını kıyaslayabilmek için optimal noktaya yakınsama hızı ve toplam hesaplama maliyeti kıstasları değerlendirilmiştir.
🔬Design:Review & Systematic Survey
📍Scope:Comprehensive Sample
⚙️Variables:Yönsel türev · Momentum · Adadelta
Özet
Yönsel türev tabanlı yakınsama yaklaşımları, doğrusal olmayan bir maliyet fonksiyonunu (J(θ)) minimize veya maksimize etmek için θ parametre vektörünü iteratif olarak güncelleme mantığına dayanmaktadır. Yapay öğrenme alanında sık kullanılan bu yaklaşımlarla güncelleme yapılırken maliyet fonksiyonunun ilgili parametreye göre yönsel türev bilgisi kullanılır. Bu çalışmada, literatürde kabul görmüş türev tabanlı yaklaşımların (Gradient Descent, Momentum, Adadelta, Adagrad, Rms, Adam, Newton ve BFGS) doğrusal olmayan fonksiyonlar üzerindeki yakınsama performansları incelenmiştir. Yaklaşım performanslarını kıyaslayabilmek için optimal noktaya yakınsama hızı ve toplam hesaplama maliyeti kıstasları değerlendirilmiştir.
Rao, S. S. 2009. Engineering optimization: theory and practice, John Wiley & Sons, 2009
Buber, E., Şahingoz, O. K. 2017. Makine Öğrenmesi sistemi ile görüntü İşleme ve en uygun parametrelerin ayarlanması, Artificial Intelligence and Data Processing Symposium (IDAP), 16-17 Eylül, Malatya,16-17.
Williams, R. J., Peng, J. 1990. An efficient gradient-based algorithm for on-line training of recurrent network trajectories, Neural computation 2(4), 490-501.
Møller, M. F. 1993. A scaled conjugate gradient algorithm for fast supervised learning. Neural networks 6(4), 525-533.
Çapar, A,, Gökmen, M. 2011. Gradyan temelli şekil bölütleme ve tanıma, ITU Journal Series D: Engineering, 10(3), 15-26.
ALTUN, A. A. 2007. Esnek hesaplama yöntemleri ile otomatik parmakizi tanıma. Selçuk Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, Konya
Çevik, K. K. 2010. Yapay zeka yöntemleri ile araç plaka tanıma sistemi, Selçuk Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, Konya.
Klein, S., Staring, M., Pluim, J.P.W. 2007. Evaluation of optimization methods for nonrigid medical image registration using mutual information and B-splines, IEEE transactions on image processing 16(12), 2879-2890
Staib, L. H., Duncan, J. S. 1996. Model-based deformable surface finding for medical images, IEEE transactions on medical imaging 15(5), 720-731
Chakraborty, A., Staib, L. H., Duncan, J. S. 1996. Deformable boundary finding in medical images by integrating gradient and region information, IEEE Transactions on Medical Imaging, 15(6), 859-870
Akyılmaz,E., Demirkesen, C., Nar, F., Okman, E., Çetin, M. 2013. Interactive ship segmentation in SAR images, Signal Processing and Communications Applications Conference (SIU), 24-26 Nisan, Kıbrıs, 1-4
Karaboğa, D. 2014. Yapay Zeka Optimizasyon Algoritmaları, Nobel Akademi Yayıncılık, 225s.
Cauchy, A. 1847. Méthode générale pour la résolution des systemes d'équations simultanée, Comp. Rend. Sci. 25, 536-538
Yazan, E., Talu, M. F. 2017. Comparison of the stochastic gradient descent based optimization techniques. Artificial Intelligence and Data Processing Symposium (IDAP), 16-17 Eylül, Malatya
Qian, N. 1999. On the momentum term in gradient descent learning algorithms. Neural Networks, The Official Journal of the International Neural Network Society, 12(1), 145–151
Duchi, J., Hazan, E., Singer, Y. 2011. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. Journal of Machine Learning Research, 12, 2121–2159
Tijmen, T., Hinton, G. 2012. Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude. COURSERA: Neural networks for machine learning, 4(2).
Kingma, D. P., Ba, J. L. 2015. Adam: a Method for Stochastic Optimization. International Conference on Learning Representations,7-9 Mayıs, San Diego, 1-13
Greenstadt, J. 1967. On the relative efficiencies of gradient methods, Mathematics of Computation, 21(99), 360-367
Broyden, C. G. 1965. A class of methods for solving nonlinear simultaneous equations, Mathematics of computation 19(92), 577-593
Broyden, C. G. Quasi-Newton methods and their application to function minimisation, Mathematics of computation, 21, 368-381
Barnes, J. G. P. 1965. An algorithm for solving non-linear equations based on the secant method, The Computer Journal 8(1), 66-72
D. Goldfarb, 1970. A family of variable-metric methods derived by variational means, Mathematics of computation, 24(109), 23-26.
Nocedal, J., Wright, S. J. 2006. Sequential quadratic programming. Springer New York