AI Summary & Key Takeaways
AI InsightThe results demonstrate that the proposed adaptive framework substantially improves minority-class vulnerability detection, achieving up to a 2.5-fold increase in F1-score and up to 83% improvement in MCC compared to the no-imbalance baseline.
📌 3 Key Takeaways
Abstract
Software vulnerabilities remain a critical threat to modern software systems, while existing detection approaches often suffer from high computational cost, limited scalability, and severe class imbalance in real-world datasets. To address these challenges, this study proposes H-LLM-IM, an adaptive imbalance-aware hybrid framework for efficient software vulnerability detection. The proposed framework leverages semantic code embeddings extracted from a pre-trained code language model (CodeBERT) and integrates them with lightweight machine learning classifiers, thereby avoiding expensive fine-tuning of large language models. A key contribution of H-LLM-IM is an adaptive imbalance-aware learning mechanism that dynamically regulates imbalance mitigation intensity through controlled oversampling and adaptive reweighting based on minority-class performance feedback. Extensive experiments conducted on the Big-Vul benchmark dataset evaluate four classifiers (Logistic Regression, SVM, Random Forest, and XGBoost) under multiple imbalance-handling scenarios, including static and adaptive strategies. The results demonstrate that the proposed adaptive framework substantially improves minority-class vulnerability detection, achieving up to a 2.5-fold increase in F1-score and up to 83% improvement in MCC compared to the no-imbalance baseline. Importantly, these performance gains are obtained while maintaining practical training time and controlled memory growth. In particular, Logistic Regression and XGBoost exhibit the most favorable performance–efficiency trade-off, highlighting the scalability and practical applicability of H-LLM-IM for large-scale vulnerability analysis under severe class imbalance.
Özet
Yazılım zafiyetleri, modern yazılım sistemleri için kritik bir tehdit olmaya devam etmektedir. Mevcut zafiyet tespit yaklaşımları ise çoğu zaman yüksek hesaplama maliyeti, sınırlı ölçeklenebilirlik ve gerçek dünya veri kümelerinde görülen ciddi sınıf dengesizliği sorunlarından etkilenmektedir. Bu zorlukların üstesinden gelmek amacıyla bu çalışmada, verimli yazılım zafiyet tespiti için uyarlanabilir ve dengesizlik-duyarlı hibrit bir çerçeve olan H-LLM-IM önerilmektedir. Önerilen çerçeve, önceden eğitilmiş bir kod dil modeli (CodeBERT) aracılığıyla elde edilen anlamsal kod gömülerini kullanmakta ve bunları hafif makine öğrenmesi sınıflandırıcıları ile entegre etmektedir. Böylece büyük dil modellerinin maliyetli ince ayar (fine-tuning) süreçlerinden kaçınılmaktadır. H-LLM-IM’in temel katkılarından biri, azınlık sınıf performans geri bildirimine dayalı olarak kontrollü aşırı örnekleme ve uyarlanabilir yeniden ağırlıklandırma yoluyla dengesizlik giderme yoğunluğunu dinamik biçimde düzenleyen uyarlanabilir bir öğrenme mekanizmasıdır. Big-Vul kıyaslama veri kümesi üzerinde gerçekleştirilen kapsamlı deneylerde, dört farklı sınıflandırıcı (Lojistik Regresyon, SVM, Rastgele Orman ve XGBoost) statik ve uyarlanabilir stratejiler dâhil olmak üzere çeşitli dengesizlik ele alma senaryoları altında değerlendirilmiştir. Elde edilen sonuçlar, önerilen uyarlanabilir çerçevenin azınlık sınıf zafiyet tespit performansını önemli ölçüde iyileştirdiğini göstermektedir. Özellikle, dengesizlik uygulanmayan temel modele kıyasla F1-skorunda 2,5 kata kadar artış ve MCC değerinde %83’e varan iyileşme sağlanmıştır. Önemli olarak, bu performans kazanımları makul eğitim süresi ve kontrollü bellek artışı korunarak elde edilmiştir. Özellikle Lojistik Regresyon ve XGBoost, performans-verimlilik dengesi açısından en avantajlı sonuçları göstermiştir. Bu durum, H-LLM-IM’in şiddetli sınıf dengesizliği altında büyük ölçekli zafiyet analizi için ölçeklenebilir ve pratik olarak uygulanabilir bir çözüm sunduğunu ortaya koymaktadır.