AI Summary & Key Takeaways
AI InsightThe results demonstrate that high random-split performance does not establish deployment readiness; temporal evaluation can also mislead when attack-family structure is not separated, and graph-context transfer varies by feature set and operating regime.
📌 3 Key Takeaways
Abstract
Flow-based intrusion detection studies often report strong benchmark scores, but their relevance to future traffic remains uncertain. This paper treats IDS behavior as regime-dependent and proposes an evaluation protocol under temporal shift, family novelty, and combined shift. Flow-only, context-only, selected-context, and full-context XGBoost variants are evaluated on CICIDS2017 and UNSW-NB15 using regime composition, ablations, bootstrap confidence intervals, five-seed sensitivity for corrected family holdouts, diagnostic score distributions, precision–recall analyses, and approximate runtime. CICIDS2017 random-split performance is near perfect, whereas future and family-novel regimes differ sharply. Selected graph-derived context improves Thursday web OOD and combined shift, while full context can reduce transfer. Friday botnet distribution shift and the botnet-family holdout remain severe failures, with zero F1 and recall for several feature sets. In contrast, the record-disjoint UNSW-NB15 Generic/Exploits holdout remains strong for the flow-only model, showing that OOD difficulty is regime-dependent. The results demonstrate that high random-split performance does not establish deployment readiness; temporal evaluation can also mislead when attack-family structure is not separated, and graph-context transfer varies by feature set and operating regime.
Özet
Akış tabanlı saldırı tespit çalışmaları güçlü kıyaslama sonuçları bildirse de bu sonuçların gelecekteki trafik koşullarına aktarılabilirliği belirsizdir. Bu makale, IDS davranışını rejime bağlı ele almakta ve zamansal kayma, saldırı ailesi yeniliği ve birleşik kayma altında bir değerlendirme protokolü önermektedir. CICIDS2017 ve UNSW-NB15 üzerinde yalnızca akış, yalnızca bağlam, seçilmiş bağlam ve tam bağlam kullanan XGBoost varyantları; rejim bileşimi, ablasyonlar, yeniden örneklemeye dayalı güven aralıkları, düzeltilmiş aile-dışlama deneyleri için beş tohumlu duyarlılık analizi, skor dağılımları, kesinlik-duyarlılık eğrileri ve yaklaşık çalışma süreleriyle değerlendirilmiştir. CICIDS2017 rastgele bölme başarımı neredeyse kusursuzken, gelecek ve aile-yeni rejimler keskin biçimde ayrışmaktadır. Seçilmiş çizge tabanlı bağlam Perşembe web OOD ve birleşik kaymada başarımı artırırken tam bağlam aktarımı azaltabilmektedir. Cuma botnet dağılım kayması ve botnet ailesi dışlama ayarları, bazı özellik kümelerinde sıfır F1 ve duyarlılıkla ağır başarısızlık göstermektedir. Buna karşılık, kayıtları çakışmayan UNSW-NB15 Generic/Exploits dışlama ayrımında yalnızca akış modeli güçlü kalmış ve dağılım dışı zorluğun rejime bağlı olduğunu göstermiştir. Bulgular, yüksek rastgele bölme başarımının dağıtım hazırlığını kanıtlamadığını; saldırı ailesi yapısı ayrıştırılmadığında zamansal değerlendirmenin yanıltıcı olabildiğini ve çizge bağlamının aktarımının özellik kümesi ile çalışma rejimine göre değiştiğini göstermektedir.