A Comparison on Performances of Differential Evolution Algorithm and Genetic Algorithm in Determining the Biasing Parameter k of Ridge Regression

Ridge Regresyonda Yanlılık Parametresi k’nın Belirlenmesinde Genetik ve Differansiyel Gelişim Algoritmalarının Performanslarına Dair Bir Karşılaştırması

Abstract

Ridge Regression is a very common way of the remedies for dealing with the “multicollinearity problem” in multiple regression analysis. Although it can provide much more consistent estimates than the ordinary least squares does, there is still a problematic issue in the use of Ridge Regression, which is the choice of biasing parameter k. In this study we propose the use of some Artificial Intelligence Algorithms, such as genetic and differential evolution, for choosing the optimal k value by not allowing to increase too much the mean absolute prediction error while reducing the variation inflation factors and condition number.

Özet

Çoklu regresyonda karşılaşılan “çoklubağlantı” problem için en yaygın olarak önerilen yaklaşım Ridge Regresyondur. Ridge regresyon en küçük kareler yönteminden daha tutarlı tahminler sağlamasına rağmen yanlılık partametresi k’nın belirlenmesi hala çözülmesi gereken bir meseledir. Bu çalışmada optimal k değerini bulmak için Yapay Zeka Tekniklerinden olan Genetik Algoritma ve Diferansiyel Gelişim Algoritması ‘nın kullanımı önerilmiştir. Bu yaklaşımların uygulanmasında varyans büyütme faktörü ile şartlı sayı gibi çoklubağlantı probleminin teşhisinde kulanılan göstergeler küçültülmeye çalışılırken ortalama mutlak yüzdelik hatanın çok büyümemesini kontrol altında tutarak algoritmalar geliştirilmiştir.

Keywords: Ridge Regresyon; Genetik Algoritma, Differansiyal Gelişim Algoritması, Ortalama Mutlak Yüzdelik Hata, Varyans Büyütme Faktörü, Şartlı Sayı