AI Summary & Key Takeaways
AI InsightThe findings show that, in severely imbalanced financial data, model selection alone is not sufficient; the decision threshold, the class-imbalance approach, and the cost assumptions can change the model ranking.
📌 3 Key Takeaways
Abstract
This study examines credit card fraud detection on an open-access transaction dataset within a cost-sensitive machine learning framework. After removing 1,081 duplicate records from the 284,807 transactions in the benchmark dataset shared by the Worldline-ULB group, the analyses were conducted on 283,726 observations and 473 fraudulent transactions. Logistic Regression, Random Forest, Extreme Gradient Boosting (XGBoost), and Light Gradient Boosting Machine (LightGBM) models were compared under a common training-validation-test split; in addition to the V1–V28, Time, and Amount variables, log_amount and hour_bucket were derived. Performance was evaluated using PR-AUC, ROC-AUC, recall, F1 score, and balanced accuracy, while the decision threshold was selected according to the value that minimizes the expected total cost on the validation set. The study presents an extended comparison covering, alongside random splitting, time-based (chronological) splitting, the SMOTE, undersampling, SMOTE-Tomek, and focal loss approaches for class imbalance, Platt and isotonic probability calibration, and the comparison of different LightGBM configurations. On the validation set, the highest PR-AUC was observed in the XGBoost model with 0.8882, whereas the lowest cost was observed in the Random Forest model with 1,844.88. On the test set, XGBoost produced the strongest discriminative performance with a PR-AUC of 0.8207 and a ROC-AUC of 0.9710, while the lowest total cost was obtained by Random Forest with 3,896.58; LightGBM under Configuration B produced a comparable cost of 3,837.01, and focal loss, together with the XGBoost base model, provided an additional gain with a cost of 3,421.29. The findings show that, in severely imbalanced financial data, model selection alone is not sufficient; the decision threshold, the class-imbalance approach, and the cost assumptions can change the model ranking.
Özet
Bu çalışma, açık erişimli kredi kartı işlem verisi üzerinde maliyet duyarlı makine öğrenmesi çerçevesinde dolandırıcılık tespitini incelemektedir. Worldline-ULB grubu tarafından paylaşılan karşılaştırma veri kümesindeki 284.807 işlemden 1.081 yinelenen kayıt çıkarılmış, analizler 283.726 gözlem ve 473 dolandırıcılık işlemi üzerinde yapılmıştır. Lojistik Regresyon (Logistic Regression), Rastgele Orman (Random Forest), Aşırı Gradyan Artırma (Extreme Gradient Boosting, XGBoost) ve Hafif Gradyan Artırma Makinesi (Light Gradient Boosting Machine, LightGBM) modelleri ortak eğitim-doğrulama-test bölünmesi altında karşılaştırılmış; V1–V28, Time ve Amount değişkenlerine ek olarak log_amount ve hour_bucket türetilmiştir. Başarım, PR-AUC, ROC-AUC, duyarlılık, F1 skoru ve dengelenmiş doğruluk ile değerlendirilmiş; karar eşiği doğrulama kümesinde beklenen toplam maliyeti en aza indiren değere göre seçilmiştir. Çalışma; rastgele bölme yanında zaman-temelli (kronolojik) bölme, sınıf dengesizliğine yönelik SMOTE, alt örnekleme, SMOTE-Tomek ve focal loss yaklaşımları, Platt ile isotonic olasılık kalibrasyonu ve farklı LightGBM yapılandırmalarının karşılaştırılması üzerinden genişletilmiş bir karşılaştırma sunmaktadır. Doğrulama kümesinde en yüksek PR-AUC 0,8882 ile XGBoost modelinde, en düşük maliyet ise 1.844,88 ile rastgele orman modelinde gözlenmiştir. Test kümesinde XGBoost 0,8207 PR-AUC ve 0,9710 ROC-AUC ile en güçlü ayrıştırma başarımını üretirken, en düşük toplam maliyet 3.896,58 ile rastgele orman tarafından elde edilmiştir; LightGBM Yapılandırma B altında 3.837,01 ile yakın bir maliyet üretmiş, focal loss ise XGBoost taban modeli ile birlikte 3.421,29 maliyetle ek bir kazanım sağlamıştır. Bulgular, ağır dengesiz finansal verilerde model seçiminin tek başına yeterli olmadığını; karar eşiği, sınıf dengesizliği yaklaşımı ve maliyet varsayımlarının model sıralamasını değiştirebildiğini göstermektedir.