AI Summary & Key Takeaways
AI InsightThe results indicate that the combined use of GroupKFold-based validation, RFECV, and explainable AI methods facilitates the reliable and interpretable classification of biosensor data.
📌 3 Key Takeaways
Abstract
Background/Aim: Accurate detection of trace amounts of heavy metal toxins in environmental samples requires sensitive and reliable diagnostic systems. This study presents a machine learning framework to classify synthetic biosensor signals—generated via quantum simulation—representing five toxin classes: Control, Lead, Mercury, Cadmium, and Arsenic. Methods: Methods: A total of 75 pre-calculated temporal, spectral, entropy, nonlinear, and wavelet features were utilized. To mitigate the risk of data leakage and obtain reliable performance estimates, the Recursive Feature Elimination with Cross-Validation (RFECV) method was integrated into a GroupKFold-based validation framework. The number of features selected across the five outer folds was 47, 73, 55, 47, and 41, respectively, resulting in an average of 52.6 features. Six ensemble learning algorithms were evaluated using a fixed 47-feature structure. Model interpretability was examined via SHAP analysis, while the contributions of feature groups were assessed through ablation and Wilcoxon signed-rank analyses. Results: Results: Configurations with 75 and 41 features were evaluated in a separate direct comparison experiment, yielding average accuracies of 84.06% and 83.73%, respectively. The main evaluation was conducted on the 47-feature configuration. Among the six ensemble learning algorithms, HistGradientBoosting demonstrated the highest performance, achieving an average accuracy of 85.27% and a weighted F1-score of 85.25%. The Random Forest model exhibited the highest discriminative performance, with a Macro-AUC of 0.9799. The Friedman test indicated that performance differences among the algorithms were statistically significant (p = 0.0186), while Nemenyi post-hoc analysis assessed the relative performance differences between the models. The 47-feature configuration was used for the ablation analysis. The most significant drop in performance occurred upon the removal of frequency-domain features, followed by the removal of non-linear features. The Wilcoxon signed-rank test, applied to evaluate the contribution of non-linear features, demonstrated that this group provided a positive trend and contribution to model performance (p = 0.0625). Conclusion: SHAP-based analyses have demonstrated that features such as Hjorth Mobility, D1 Energy, D1 Standard Deviation, Petrosian Fractal Dimension, and Spectral Entropy contribute significantly to the model's decisions. The results indicate that the combined use of GroupKFold-based validation, RFECV, and explainable AI methods facilitates the reliable and interpretable classification of biosensor data.
Özet
Çevresel örneklerdeki eser miktardaki ağır metal toksinlerinin doğru bir şekilde tespiti, yüksek hassasiyete sahip teşhis sistemleri gerektirir. Kuantum hesaplama yeni öznitelik temsil yetenekleri sunsa da, fiziksel kuantum biyosensörleri henüz büyük ölçüde deneysel aşamadadır. Bu çalışmada, üretilen kuantum simülasyonlu sentetik biyosensör sinyallerini sınıflandırmak amacıyla tasarlanmış bir makine öğrenmesi mimarisi sunulmaktadır. Beş hedef toksin sınıfı (Kontrol, Kurşun, Cıva, Kadmiyum, Arsenik) genelindeki sinyal dinamiklerini temsil etmek üzere toplam 75 önceden hesaplanmış zamansal, spektral, entropi, doğrusal olmayan ve dalgacık özniteliği kullanılmıştır. Veri sızıntısı riskini azaltmak ve daha güvenilir performans tahminleri elde etmek amacıyla, RFECV tabanlı öznitelik seçimi GroupKFold tabanlı çapraz doğrulama çerçevesinde gerçekleştirilmiştir. Beş dış katmanda RFECV tarafından seçilen öznitelik sayıları 47, 73, 55, 47 ve 41 olup ortalama 52.6 öznitelik olarak bulunmuştur. Ayrıca, 75 ve 41 öznitelikli yapılar ayrı bir doğrudan karşılaştırma deneyinde değerlendirilmiş ve ortalama doğruluk sırasıyla %84.06 ve %83.73 olarak elde edilmiştir. Ana değerlendirme 47 öznitelikli yapı üzerinde gerçekleştirilmiştir. Altı ensemble öğrenme algoritması arasında HistGradientBoosting %85.27 ortalama doğruluk ve %85.25 Weighted F1 skoru ile en yüksek performansı sergilemiştir. Rastgele Orman modeli 0.9799 Macro-AUC ile en yüksek ayırt etme performansını göstermiştir. Friedman testi algoritmalar arasındaki performans farklarının istatistiksel olarak anlamlı olduğunu göstermiş (p = 0.0186), Nemenyi post-hoc analizi ise modeller arasındaki göreli performans farklılıklarını değerlendirmiştir. Ablasyon analizinde 47 öznitelikli yapı kullanılmıştır. En belirgin performans düşüşü frekans alanı öznitelliklerinin çıkarılmasıyla meydana gelmiş, bunu doğrusal olmayan özniteliklerin çıkarılması takip etmiştir. Doğrusal olmayan özniteliklerin katkısını değerlendirmek için uygulanan Wilcoxon signed-rank testi, bu grubun model performansına olumlu bir eğilim ve katkı sağladığını göstermiştir (p=0.0625). SHAP tabanlı analizler, Hjorth Mobility, D1 Energy, D1 Standard Deviation, Petrosian Fractal Dimension ve Spectral Entropy gibi özniteliklerin model kararlarına önemli katkılar sağladığını göstermiştir. Sonuçlar, GroupKFold tabanlı doğrulama, RFECV ve açıklanabilir yapay zekâ yöntemlerinin birlikte kullanımının biyosensör verilerinin güvenilir ve yorumlanabilir sınıflandırılmasına katkı sağladığını göstermektedir.