LASSO Estimator in Logistic Regression for Small Data Sets

Abstract

Variable selection is an important subject in regression analysis. In regression analysis, the LASSO (Least Absolute Shrinkage and Selection Operator) provides sparse solutions to lead to variable selection. LASSO is a useful tool to achieve the shrinkage and variable selection simultaneously and the LASSO penalty term can shrink the parameter estimates toward exactly to zero. It is used generally in large data sets but in this article, we consider the variable selection problem for the multivariate Bernoulli logistic models adopting some information criteria especially in small data sets. Results of simulation were compared according to the four different criteria used for model selection.

Özet

Değişken seçimi, regresyon analizinde kullanılan önemli bir konudur. Regresyon analizinde, LASSO (En Küçük Mutlak Daralma ve Seçim Operatörü) değişken seçimine benzer olarak seyrek çözümler sunmaktadır. LASSO, daraltma ve değişken seçimi işlemlerini aynı anda yapabilen kullanışlı bir araçtır ve LASSO ceza kriteri, parametre tahminlerini tam olarak sıfır değerine indirebilir. Genellikle büyük veri kümelerinde kullanılır fakat bu çalışmada, özellikle küçük veri setlerinde bazı bilgi kriterlerini kullanarak çok değişkenli Bernoulli lojistik modelleri için değişken seçim problemi ele alınmıştır. Model seçiminde kullanılan dört farklı bilgi kritere göre elde edilen simülasyon sonuçları karşılaştırılmıştır.