Journals / Celal Bayar Üniversitesi Fen Bilimleri Dergisi / 2017 / Cilt: 13 - Sayı: 3
A New Hybrid Regression Model for Undersized Sample Problem
- Pages
- 803–813
- DOI
- —
Abstract
In traditional statistics, it is assumed that the number of samples which are available for study is more than number of well selected variables. Nowadays, in many fields, while the number of samples expressed in tens or hundreds, the single observation may have thousands even millions dimensions. The classical statistical techniques are not designed to be able to cope with this kind of data sets. Many of multivariate statistical techniques such as principal component analysis, factor analysis, classifiation and cluster analysis and the prediction of regression coefficients need estimation of the sample variance-covariance matrix or its inverse. When the number of observations is much smaller than the number of features (or variables), the usual sample covariance matrix degenerates and it can not be inverted. This is one of the biggest encountered obstacle to the classical statistical methods. To remedy the manifestation of the singular covariance matrices in high dimensional data, Hybrid Covariance Estimators (HCE) has been developed by Pamukcu et al.(2015). HCE has overcome the singularity problem of the covariance matrix and, thus, the multivariate statistical analysis for high dimensional data sets has been made possible. One of the most important process in statistical analysis using HCE is to select the appropriate covariance structure for the data set since HCE can in fact be obtained with many different covariance structures. It can be selected by using the information criteria such as Akaike Information Criteria, Information Complexity Criteria which are well known as model selection criteria. In this study, we introduce a new regression model with HCE and information criteria for n<<p undersized high dimensional data. We demonstrate our approach on simulation studies with different scenarious for p/n ratios. We use AIC,CAIC and ICOMP criteria to select appropriate HCE structure and compare the results with classical regression analysis.
Özet
Geleneksel istatistik metodolojisinde, iyi seçilmiş değişkenlerin birkaç tane, örneklerin ise daha fazla olduğu farz edilir. Günümüzde ise birçok sahada, çalışma için ulaşılabilen örnekler onlar veya yüzlerle ifade edilirken, tek bir gözlem binlerce hatta milyonlarca boyuta sahip olabilmektedir. Klasik yöntemler bu tarz verilerle başa çıkabilecek şekilde tasarlanmış değillerdir. Temel bileşenler analizi, faktör analizi, sınıflama ve kümeleme analizleri, regresyon katsayılarının çıkarımı ve tahmini gibi klasik çok değişkenli istatistiksel tekniklerin birçoğu, verinin kovaryans matrisinin ve/veya onun tersinin tahminini gerektirir. p değişken sayısı n örnek sayısından fazla olduğu durumlarda ise örnek varyans-kovaryans matrisi dejenere olur ve tersi hesaplanamaz. Bu, klasik istatistiksel metotlar açıcından karşılaşılabilecek en önemli zorluklardan biridir. Pamukçu ve ark tarafından (2015) yüksek boyutlu veri setlerindeki kovaryans probleminin üstesinden gelebilmek için, Hibrit Kovaryans Tahmin Edicisi (Hybrid Covariance Estimator-HCE) yöntemi geliştirilmiştir. HCE ile kovaryans yapısındaki bu bozulmanın önüne geçilmiş ve n<<p probleminin olduğu yüksek boyutlu veri setlerinin istatistiksel analizleri mümkün hale gelmiştir. HCE, aslında birçok farklı kovaryans yapısı ile elde edilebildiği için HCE ile yapılacak analizlerde önemli aşamalardan biri, veri setine uygun kovaryans yapısının belirlenmesidir. Bu aşamada ise model seçim kriterleri olarak da bilinen AIC, CAIC ve ICOMP gibi bilgi kriterleri ile uygun kovaryans yapısı seçilebilmektedir. Bu çalışmada, n<<p olan yüksek boyutlu veri setlerinde HCE ve bilgi kriterleri ile önerilen Hibrit Regresyon Modeli-HRM tanıtılmış ve hesaplama adımları verilmiştir. Simülasyon çalışması ile farklı senaryolarda farklı p/n oranlarına sahip veri setleri HRM ile analiz edilmiş, uygun kovaryans yapısının seçimi AIC, CAIC ve ICOMP bilgi kriterleri ile yapılmış ve sonuçlar klasik regresyon analizi yöntemi ile karşılaştırılmıştır.