AI Summary & Key Takeaways
AI InsightAn initialization method with initial population is recommended for these coefficients, which are generally initialized with a fixed or random value in MLRs.
📌 3 Key Takeaways
Abstract
In this study, a linear function representing the iris data set is obtained by making use of the Multivariate Linear Regression (MLR) model. Stochastic Gradient Descent (SGD), Momentum, Adagrad, RMSProp, Adadelta and Adam optimization algorithms are used to find the optimum values of coefficients of this function. An initialization method with initial population is recommended for these coefficients, which are generally initialized with a fixed or random value in MLRs. Integral of the Absolute Value of the Error (IAE), Integral of the Time-Weighted Absolute Error (ITAE), Mean Square of the Error (MSE) and Integral of the Square Error (ISE) error functions are used as objective functions in the MLR model used. First, initial populations of the methods are developed by using a proposed deterministic and classical stochastic initialization methods between upper and lower bounds. The method that are initialized stochasticaly is run several times as seen in literature and the mean values are calculated. On the other hand, the application that is initialized deterministic is only run once. According to the results of deterministic and stochastic initialization methods, it is observed that the coefficients and iteration numbers obtained in both applications are close to each other. Despite very high temporal gain is achieved from the application that is initialized deterministic. The results obtained between the two applications are compared and analyzed. As a result of the comparisons, the linear model obtained with Adadelta optimization algorithm and MSE objective function reaches the result in the shortest time.
Özet
Bu çalışmada Çok Değişkenli Lineer Regresyon (Multivariate Linear Regression-MLR) modeli kullanarak iris veri setini temsil eden lineer bir fonksiyon elde edilmektedir. Bu fonksiyondaki katsayıların optimum değerlerini bulmak için Stokastik Dik İniş (Stochastic Gradient Descent-SGD), Momentum, Adagrad, RMSProp, Adadelta ve Adam optimizasyon algoritmaları kullanılmaktadır. MLR’lerde genelde sabit veya rastgele bir değer ile başlatılan bu katsayılar için başlangıç popülasyonuna sahip bir başlatma yöntemi önerilmektedir. Kullanılan MLR modelinde amaç fonksiyonu olarak Mutlak Hata Değeri (Integral of the Absolute Value of the Error-IAE), Zaman Ağırlıklı Mutlak Hata Değeri (Integral of the Time-Weighted Absolute Error-ITAE), Ortalama Karesel Hata Değeri (Mean Square of the Error-MSE) ve Karesel Hata Değeri (Integral of the Square Error-ISE) hata fonksiyonlarından yararlanılmaktadır. Öncelikle alt ve üst sınırlar arasında önerilen bir deterministik ve klasik stokastik başlatma yöntemleri ile uygulamaların başlangıç popülasyonları oluşturulmaktadır. Stokastik olarak başlatılan uygulama literatürdeki gibi birçok defa çalıştırılıp ortalama değerleri alınmaktadır. Buna karşılık deterministik olarak başlatılan uygulama ise bir kez çalıştırılmaktadır. Deterministik ve stokastik başlatma yöntemlerinin sonuçlarına göre iki uygulamada da elde edilen katsayıların ve adım sayılarının birbirine yakın olduğu gözlemlenmektedir. Buna rağmen deterministik olarak başlatılan uygulamada çok yüksek zamansal kazanım elde edilmektedir. İki uygulama arasında elde edilen sonuçlar karşılaştırılarak analiz edilmektedir. Karşılaştırmalar sonucunda Adadelta optimizasyon algoritması ve MSE amaç fonksiyonuyla elde edilen lineer model en kısa zamanda sonuca ulaşmaktadır.