AI Summary & Key Takeaways
AI InsightThese findings demonstrate that data integrity and the definition of the independent observation unit should be examined before near-perfect clinical machine-learning performance is interpreted as algorithmic superiority.
📌 3 Key Takeaways
Abstract
Duplicate clinical profiles can place the same observation in both training and test partitions, producing optimistic performance estimates that do not represent generalization to independent cases. This benchmark audit examined a widely used heart disease dataset containing 1025 rows and 13 predictors. Data-integrity analysis identified 302 unique clinical profiles and 723 redundant rows. Logistic Regression, Gaussian Naive Bayes, k-Nearest Neighbors, Random Forest, Extra Trees, and Histogram-Based Gradient Boosting were evaluated under naive row-level, group-safe, and deduplicated repeated five-fold cross-validation. Performance was assessed at the profile level using classification, discrimination, and calibration measures. Under naive validation, k-Nearest Neighbors, Random Forest, and Extra Trees achieved accuracy and ROC-AUC values of 1.000. After deduplication, their accuracy ranged from 0.8245 to 0.8377. For Random Forest, naive validation inflated accuracy by 0.1722 and ROC-AUC by 0.0950. In the leakage-free evaluation, Logistic Regression achieved the highest ROC-AUC of 0.9128 and the lowest Brier score of 0.1142. Sigmoid calibration reduced the Random Forest expected calibration error from 0.0563 to 0.0384. A nested cross-validation sensitivity analysis showed modest and inconsistent changes after hyperparameter optimization, with no statistically significant improvement across the outer folds. Permutation importance identified thal, cp, and ca as the most influential predictors. These findings demonstrate that data integrity and the definition of the independent observation unit should be examined before near-perfect clinical machine-learning performance is interpreted as algorithmic superiority.
Özet
Yinelenen klinik profiller, aynı gözlemi hem eğitim hem de test bölümlerine yerleştirebilir ve bu da bağımsız vakalara genelleme yapmayan, iyimser performans tahminlerine yol açabilir. Bu karşılaştırmalı inceleme, 1025 satır ve 13 öngörücü içeren, yaygın olarak kullanılan bir kalp hastalığı veri setini incelemiştir. Veri bütünlüğü analizi sonucunda 302 benzersiz klinik profil ve 723 yinelenen satır tespit edilmiştir. Lojistik Regresyon, Gauss Naif Bayes, k-En Yakın Komşu, Rastgele Orman, Ekstra Ağaçlar ve Histogram Tabanlı Gradyan Güçlendirme yöntemleri, naif satır düzeyinde, grup güvenli ve yinelenen verilerden arındırılmış beş katlı çapraz doğrulama altında değerlendirilmiştir. Performans, sınıflandırma, ayrım ve kalibrasyon ölçütleri kullanılarak profil düzeyinde değerlendirilmiştir. Naif doğrulama altında, k-En Yakın Komşu, Rastgele Orman ve Ekstra Ağaçlar, 1,000 doğruluk ve ROC-AUC değerlerine ulaştı. Tekilleştirme işleminden sonra, doğruluk değerleri 0,8245 ile 0,8377 arasında değişti. Rastgele Orman için, naif doğrulama doğruluğu 0,1722 ve ROC-AUC'yi 0,0950 artırdı. Sızıntısız değerlendirmede, Lojistik Regresyon 0,9128 ile en yüksek ROC-AUC değerine ve 0,1142 ile en düşük Brier puanına ulaştı. Sigmoid kalibrasyonu, Rastgele Orman’ın beklenen kalibrasyon hatasını 0,0563’ten 0,0384’e düşürdü. İç içe geçmiş çapraz doğrulama duyarlılık analizi, hiperparametre optimizasyonundan sonra mütevazı ve tutarsız değişiklikler gösterdi; dış katlamalar genelinde istatistiksel olarak anlamlı bir iyileşme gözlenmedi. Permütasyon önem analizi, thal, cp ve ca'yı en etkili öngörücü değişkenler olarak belirledi. Bu bulgular, neredeyse kusursuz klinik makine öğrenimi performansının algoritmik üstünlük olarak yorumlanmadan önce veri bütünlüğünün ve bağımsız gözlem biriminin tanımının incelenmesi gerektiğini göstermektedir.