A Comparative Study on Regression Methods in the presence of Multicollinearity

Özet

Çoklu Bağlantı Durumunda Regresyon Yöntemlerinin Karşılaştırılması Bu çalışmada çoklu bağlantı sorununa çözüm getirebilmek için birkaç regresyon modelinin karşılaştırılması amaçlanmıştır. Doğrusal regresyonda çoklu bağlantının olması durumunda yanlış kestirim değerleri, kestirim için yanlı varyanslar gibi yanlışlıklar ortaya çıkar. Bu yüzden, kısmi en küçük kareler regresyonu (PLSR), ridge regresyon (RR), temel bileşenler regresyonu (PCR) gibi yöntemler, çoklu bağlantı sorununu aşmak için önerilmiştir. Bu çalışmada yöntemler, farklı derecelerde çoklu bağlantıya sahip veri kümeleri için bir benzetim çalışmasıyla karşılaştırılmıştır. Regresyon model kestirimleri için bütün sonuçlar hata kareler ortalaması bakımından birbirleriyle karşılaştırılmıştır. PLSR yönteminin bağımsız değişken sayısının çok olduğu durumda iyi bir yöntem olduğu ve RR yönteminin ise gözlem sayısı ve çoklu bağlantı sayısının çok olduğu durumda iyi bir yöntem olduğu sonuçları elde edilmiştir. PCR yönteminin benzetim çalışması senaryolarında tercih edilebilir bir yöntem olmadığı görülmüştür.

Abstract

This study aims to compare some regression methods in the presence of multicollinearity problem. Multicollinearity problem causes faults such as insignificant variable selection, biased variances in linear regression model. Therefore, some regression methods that handle with multicollinearity such as partial least square regression (PLSR), ridge regression (RR) and principal component regression (PCR) had reported. In this paper, the methods were compared by the simulation study. All results were compared with each other through MSE of their estimated beta values for different methods. The results show that PLRS is better methods with large numbers of independent variable. Further, RR is better method when observation number and number of multicollinearity is large enough. PCR cannot be better method in simulation study scenarios.