DENGESİZ KREDİ SKORLAMA VERİ SETLERİNDE KOLEKTİF ÖĞRENME ALGORİTMALARININ PERFORMANS DEĞERLENDİRMESİ

PERFORMANCE EVALUATION OF ENSEMBLE LEARNING ALGORITHMS ON UNBALANCED CREDIT SCORING DATA SETS

Özet

Amaç- Kredi skorlama modeli geliştirilirken kullanılan veri kümelerinde sınıflara ait örneklerin dengesiz bir dağılıma sahip olmalarından dolayı, modellerin doğruluk oranı düşük olmaktadır. Biz bu çalışmada kollektif öğrenme algoritmalarını maliyete duyarlı öğrenme yöntemiyle birlikte kullanarak elde edilen modellerin performansını karşılaştıp en etkin modellleri belirlemeye çalıştık. Metodoloji- Bu amaçla Bagging ve AdaBoost kolektif öğrenme yöntemleri karar ağaçları, destek vektör makineleri ve k-NN temel sınıflandırıcıları ile iki farklı kredi veri seti üzerinde çalıştırılmıştır. Ayrıca Bagging ve AdaBoost için maliyet duyarlı öğrenme yöntemi kullanılarak azınlık sınıflandırma grubunun ceza puanı artırılmıştır. Bütün bu kombinasyonlar kıyaslanmıştır.Bulgular- Maliyete duyarlı öğrenme yöntemlerinin kullanılması, hem AdaBoost hem de Bagging için performans değerlendirme ölçeği AUC açısından daha başarılı sonuçlar elde edilmesini sağlamıştır. Verideki sınıf dengesizlik oranının artması durumunda, karar ağaçlarının temel sınıflandırıcı olduğu Bagging kolektif yönteminin AdaBoost kolektif yöntemine göre daha yüksek başarı elde ettiği gözlemlenmiştir. Sonuç- Başarısı yüksek etkili bir kredi skorlama yöntemi geliştirilmesi hala çözülmesi gereken bir problem olmasına rağmen kolektif öğrenme yöntemi ile oluşturulan modellerin bireysel sınıflandırıcılarılarla oluşturulan modellere göre daha yüksek başarı gösterdiği gözlemlenmiştir. Bu durum literatürdeki diğer çalışma bulgularıyla da örtüşmektedir. [Maciej Zięba ve ark., 2012]

Abstract

Purpose- As the credit scoring model is developed, the accuracy of the models is low due to the unbalanced distribution of the samples belonging to the classes. In this study, we tried to determine the most effective models by comparing the performance of the models obtained by using collective learning algorithms together with cost sensitive learning method.Methodology- For this purpose, Bagging and AdaBoost collective learning methods were run on two different credit data sets with decision trees, support vector machines and k-NN basic classifiers. In addition, the penal score of the minority classification group was increased by using cost-sensitive learning method for Bagging and AdaBoost. All these combinations were compared.Findings- The use of cost-sensitive learning methods has led to more successful results in terms of AUC for both AdaBoost and Bagging. It was observed that the Bagging collective method, which is the main classifier of decision trees, had higher success than the AdaBoost collective method in the case of increasing class imbalance rate in the data. Conclusion- Although the development of a highly effective credit scoring method is still a problem that needs to be solved, it has been observed that the models created by the collective learning method show higher success than the models created by individual classifiers. This situation coincides with the findings of other studies in the literature. [Maciej Zięba ve ark., 2012]