Journals / İstatistik Araştırma Dergisi / 2026 / Cilt: 8 Sayı: 2 Özel Sayı

Effect of Regularization on Error Rates in Discriminant Analysis

Ayarlamanın Diskriminant Analizinde Hata Oranlarına Etkisi

Hayrinisa Demirci Biçer(ANKARA ÜNİVERSİTESİ, FEN FAKÜLTESİ, İSTATİSTİK BÖLÜMÜ)
Cemal Atakan(ANKARA ÜNİVERSİTESİ, FEN FAKÜLTESİ, İSTATİSTİK BÖLÜMÜ)
Pages
13–20
Publication Date
2011-10-17
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

In this paper Linear and Regularized Discriminant Analysis are compared with respect to their error rates with a simulation study when the number of variables is bigger than the sample size.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:As in many statistical analyses, when the number of variables (p) is higher than the number of objects in groups (ni) , the sample variance- covariance matrix estimates become high and the sample variance-covariance matrix becomes singular in discriminant anaylsis as well.
📊
Key Findings & Data:To solve this problem, Friedman (1989) proposed Regularized Discriminant Analysis.
💡
Conclusion & Impact:In this paper Linear and Regularized Discriminant Analysis are compared with respect to their error rates with a simulation study when the number of variables is bigger than the sample size.
🔬Design:Konferans Bildirisi
📍Scope:Comprehensive Sample
⚙️Variables:Ayarlanmış Diskriminant Analizi · Diskriminant Analizi · Hata Oranı

Abstract

As in many statistical analyses, when the number of variables (p) is higher than the number of objects in groups (ni) , the sample variance- covariance matrix estimates become high and the sample variance-covariance matrix becomes singular in discriminant anaylsis as well. To solve this problem, Friedman (1989) proposed Regularized Discriminant Analysis. The sample variance-covariance matrix is re-obtained by employing a shrinkage parameter in regularized discriminant analysis. In this paper Linear and Regularized Discriminant Analysis are compared with respect to their error rates with a simulation study when the number of variables is bigger than the sample size.

Özet

Bir çok istatistiki analizde olduğu gibi, Diskriminant Analizi’nde de değişken sayısı p , örneklem hacimleri ni (i=1, 2,…,g) olmak üzere ni< p olduğunda, örneklem varyans-kovaryans matrisinin tahminleri büyük değerler olmakta ve örneklem varyans-kovaryans matrisi singüler olmaktadır. Bu problemi çözmek için Friedman (1989) Ayarlanmış Diskriminant Analizi’ni (Regularized Discriminant Analysis) önermiştir. Ayarlanmış diskriminant analizinde, örneklem varyans-kovaryans matrisi daraltma parametresi ile tekrar elde edilir. Bu çalışmada, ni< p olduğu durumda, simülasyon çalışması ile hata oranları bakımından Ayarlanmış Diskriminant Analizi ve Lineer Diskriminant Analizi karşılaştırılmıştır.

🔖

Cite This Article

Biçer, H. D., Atakan, C. (2011). Effect of Regularization on Error Rates in Discriminant Analysis. İstatistik Araştırma Dergisi, Cilt: 8 Sayı: 2 Özel Sayı, 13–20. https://ajindex.com/articles/1617847

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (8)

  1. Anderson, T. W., 1984. An Introduction to Multivariate Satistical Analysis. Second Edition. John Wiley& Sons. Inc., New York.
  2. Atakan, C., 2003. Diskriminant Analizinde Gerçek Hata Oranına İlişkin Güven Aralıkları için Simülasyon Çalışması. Selçuk Üniversitesi Fen-Edebiyat Fakültesi Fen Dergisi, Sayı: 22, 93-100.
  3. Campbell, N. A., 1980. Shrunken Estimator in Discriminant and Canonical Variate Analysis. Applied Statistics, 29, 5-14.
  4. Di Pillo, P. J., 1976. The Application of Bias to Discriminant Analysis. Comm. Stat. Theory Method, A5, 843-854.
  5. Friedman, J. H., 1989. Regularized Discriminant Analysis. JASA, 84, 165-175.
  6. Lachenbruch, P. A., 1975. Discriminant Analysis. Hafner Press, New York.
  7. Mkhadri, A., 1995. Shrinkage Parameter for Modified Linear Discriminant Analysis. Pattern Recognition Letters, 16, 267-275.
  8. Peck, R., Van Ness, J., 1982. The Use of Shrinkage Estimators in Linear Discriminant Analysis. IEEE Trans. Patt. Anal. Mach. Intel., 5, 530-537.