Cosine Similarity-based Cross-project Defect Prediction

Abstract

Cross-project defect prediction has been intriguing researchers in terms of metric heterogeneity and new methods are needed in this field. Performing defect prediction through different projects presents valuable information for developers. In this work, a metric matching algorithm namely CSCDP is presented for cross-project defect prediction. The method is then tested on 36 different projects via three classifiers. According to the obtained results, neural network predictor outperforms the others in terms of mean prediction values. Further, selecting training data sets using sparsity analysis creates a favorable effect on testing performance. Last, CSCDP was able to reduce classification error up to 0.65 in Random Forest for F-score.

Özet

Çapraz-proje tahmini özellikle metrik heterojenliği açısından araştırmacıların ilgisini çekmekte, bu alanda yeni yöntemlere ihtiyaç duyulmaktadır. Hata tahmin işleminin farklı projeler üzerinden yürütülmesi geliştiricilere anlamlı bilgiler sunmaktadır. Bu çalışmada, çapraz-proje tahmini için, Kosinüs benzerliğine dayalı metrik eşleştirmesi yapan CSCDP isimli bir algoritma geliştirilmiştir. Yöntem 36 farklı veri setinde üç farklı sınıflandırıcı ile test edilmiştir. Elde edilen sonuçlara göre ortalama tahmin performansının yapay sinir ağlarında diğer sınıflandırıcılara göre daha yüksek olduğu tespit edilmiştir. Ayrıca, seyreklik analizine dayalı olarak seçilen eğitim veri setlerinin test başarısını olumlu etkilediği tespit edilmiştir. Son olarak, CSCDP kullanılarak yürütülen çapraz-proje tahmininin sınıflandırma hatasını Random Forest algoritmasında F-skor parametresi için 0.65 oranında azalttığı gözlemlenmiştir.