AI Summary & Key Takeaways
AI InsightRegularized LR without balancing was a robust default choice.
📌 3 Key Takeaways
Abstract
Outcome events in EHR-based clinical risk prediction are often rare, causing class imbalance; resampling and cost-sensitive corrections have understudied effects on calibration and net benefit. This study compared regularized logistic regression (LR) and gradient boosting (GB) under four correction strategies, and evaluated the corrective effect of recalibration. A synthetic dataset (n=4000; event rate 12%, resembling acute kidney injury) with 15 correlated predictors was generated (Monte Carlo design, 200 replications). LR and GB (XGBoost) were evaluated under no balancing, SMOTE, class weighting, and undersampling via 5-fold nested cross-validation. AUROC, AUPRC, Brier score, calibration slope/intercept, and Integrated Calibration Index (ICI) were computed; clinical utility was assessed by decision curve analysis. The highest discrimination was achieved by unbalanced LR (AUROC 0.706; AUPRC 0.273). Balancing did not improve LR discrimination and worsened GB’s (SMOTE: AUROC 0.681 to 0.632); the LR–GB difference favored LR throughout. Unbalanced models were well calibrated (intercept ≈0.00, slope 1.024, ICI 0.007); balancing severely distorted calibration (intercept ≈−2.0; ICI 0.32–0.34). Unbalanced LR gave the highest net benefit across all thresholds; SMOTE-applied GB the lowest. Intercept recalibration largely reversed the prevalence-driven harm (Brier 0.215→0.099) but did not repair GB’s ranking damage. Balancing did not improve discrimination and impaired calibration and net benefit (the “balancing paradox”). Relying solely on AUROC is misleading; calibration and net benefit must always be reported, and balancing must be followed by recalibration. Regularized LR without balancing was a robust default choice.
Özet
Elektronik sağlık kayıtlarına (ESK) dayalı klinik risk tahmininde sonuç olayları çoğunlukla nadirdir ve sınıf dengesizliği oluşur. Yaygın kullanılan yeniden örnekleme ve maliyet-duyarlı yöntemlerin kalibrasyon ve klinik net fayda üzerindeki etkisi yeterince incelenmemiştir. Bu çalışmada regülarize lojistik regresyon (LR) ile gradient boosting (GB), dört dengeleme stratejisi altında karşılaştırılmış; ayrıca yeniden kalibrasyonun düzeltici etkisi değerlendirilmiştir. Akut böbrek hasarına benzer, olay oranı %12 olan bir sonuç için 15 öngörücülü sentetik veri (n=4000; 200 replikasyonlu Monte Carlo tasarımı) üretildi. LR ve GB (XGBoost); dengeleme yok, SMOTE, sınıf ağırlıklandırma ve azaltarak örnekleme stratejileriyle 5-katmanlı iç içe çapraz doğrulamayla değerlendirildi. AUROC, AUPRC, Brier skoru, kalibrasyon eğimi/kesişimi ve Entegre Kalibrasyon İndeksi (ICI) hesaplandı; klinik fayda karar eğrisi analiziyle değerlendirildi. En yüksek ayrımı dengelemesiz LR sağladı (AUROC 0,706; AUPRC 0,273). Dengeleme LR ayrımını artırmadı, GB ayrımını kötüleştirdi (SMOTE: AUROC 0,681’den 0,632’ye); LR–GB farkı tüm stratejilerde LR lehineydi. Dengelemesiz modeller iyi kalibre idi (kesişim ≈0,00, eğim 1,024, ICI 0,007); dengeleme kalibrasyonu ciddi biçimde bozdu (kesişim ≈ −2,0; ICI 0,32–0,34). Dengelemesiz LR tüm eşiklerde en yüksek net faydayı sağladı; SMOTE uygulanmış GB en düşük faydayı verdi. Yeniden kalibrasyon, prevalans kaynaklı zararı büyük ölçüde geri döndürdü (Brier 0,215→0,099); ancak GB’nin sıralama hasarını gideremedi. ESK temelli dengesiz sınıf probleminde dengeleme, ayrımı iyileştirmemiş, kalibrasyonu ve net faydayı bozmuştur (“dengeleme paradoksu”). Yalnızca AUROC’a güvenmek yanıltıcıdır; kalibrasyon ve net fayda mutlaka raporlanmalı, dengeleme kullanılacaksa yeniden kalibrasyon izlemelidir. Regülarize LR, dengeleme uygulanmadan, hem kalibrasyon hem klinik fayda açısından güçlü bir varsayılan seçenek olmuştur.