AI Summary & Key Takeaways
AI InsightThe findings revealed that, in particular, k-Nearest Neighbors, Decision Tree, and Random Forest models were able to detect anomalies with high accuracy, while the XGBoost model, in some cases, struggled to sufficiently distinguish low anomaly rates.
📌 3 Key Takeaways
Abstract
In this study, the performance of five different supervised machine learning algorithms—Logistic Regression, k-Nearest Neighbors, Decision Tree, Random Forest, and XGBoost—was comparatively analyzed for the anomaly detection problem. Both real-world data and artificially generated simulation data were used to evaluate the models based on metrics such as F1-score, ROC-AUC, and training and testing times. Despite considering class imbalance in the real-world dataset, some models achieved high performance. The simulation data provided a more objective means of testing the models’ ability to learn anomaly structures. The findings revealed that, in particular, k-Nearest Neighbors, Decision Tree, and Random Forest models were able to detect anomalies with high accuracy, while the XGBoost model, in some cases, struggled to sufficiently distinguish low anomaly rates. In this context, parameter optimization was emphasized as a critical factor in model performance. The results of the study are of a guiding nature for the development of anomaly detection systems applicable in sectors requiring high security, such as defense, aviation, and space.
Özet
Bu çalışmada, anomali tespiti problemine yönelik Lojistik Regresyon, k-En Yakın Komşu, Karar Ağacı, Rastgele Orman ve XGBoost olmak üzere beş farklı denetimli makine öğrenmesi algoritmasının performansları karşılaştırmalı olarak analiz edilmiştir. Hem gerçek dünya verisi hem de yapay olarak oluşturulan simülasyon verisi kullanılarak modellerin F1 skoru, ROC-AUC değeri, eğitim ve test süreleri gibi ölçütler üzerinden değerlendirmeleri yapılmıştır. Gerçek veri üzerinde yapılan analizde sınıf dengesizliği göz önünde bulundurulmasına rağmen bazı modellerin yüksek başarı sağladığı görülmüştür. Simülasyon verileri ise modellerin anomali yapısını öğrenmedeki başarısını daha nesnel şekilde test etme imkânı sunmuştur. Bulgular, özellikle k-En Yakın Komşu, Karar Ağacı ve Rastgele Orman modellerinin yüksek doğrulukla anomalileri tespit ettiğini göstermektedir. XGBoost modelinin ise bazı durumlarda düşük anomali oranını yeterince ayırt edemediği gözlemlenmiştir. Bu kapsamda, parametre optimizasyonunun model başarısında kritik rol oynadığı vurgulanmıştır. Çalışmanın sonuçları, yüksek güvenlik gerektiren savunma, havacılık ve uzay gibi sektörlerde uygulanabilecek anomali tespit sistemlerine yönelik yol gösterici niteliktedir.