AI Summary & Key Takeaways
AI InsightIn conclusion, it has been verified that BERT models can exhibit superior performance in fake news detection when methodological rigor is maintained; the decisive role of data leakage prevention strategies in model evaluation has been clearly demonstrated.
📌 3 Key Takeaways
Abstract
The rapid spread of fake news in the digital age has emerged as a critical threat to social trust and democratic processes. This research presents an innovative BERT-based (Bidirectional Encoder Representations from Transformers) fake news detection approach that systematically addresses the data leakage problem. The primary objective is to provide reliable performance evaluation by eliminating methodological errors commonly encountered in the literature. The ISOT Fake News Dataset, publicly available through the Kaggle platform, was utilized as material. MD5 hash-based duplicate detection, stratified sampling for data splitting, and fine-tuning strategy with BERT-base-uncased model were adopted as methodology. During data cleaning, 6,252 duplicate samples (13.9%) were identified and removed from the dataset, while train-test set overlap was reduced from 1,950 samples to 2. The findings demonstrate that 99.97% test accuracy was achieved on the cleaned dataset, with 99.92% precision and 100% recall obtained for the fake news class. The AUC-ROC score was calculated as 0.9997. In conclusion, it has been verified that BERT models can exhibit superior performance in fake news detection when methodological rigor is maintained; the decisive role of data leakage prevention strategies in model evaluation has been clearly demonstrated.
Özet
Dijital çağda sahte haberlerin hızla yayılması, toplumsal güven ve demokratik süreçler açısından kritik bir tehdit unsuru oluşturmaya başlamıştır. Sunulan araştırma, BERT (Bidirectional Encoder Representations from Transformers) tabanlı yenilikçi bir sahte haber tespit yaklaşımı ortaya koymakta olup, veri sızıntısı (data leakage) problemini sistematik biçimde ele almayı hedeflemektedir. Araştırmanın temel amacı, literatürde sıklıkla karşılaşılan metodolojik hataları gidererek güvenilir bir performans değerlendirmesi gerçekleştirmektir. Materyal olarak herkesin erişimine açık Kaggle platformundan temin edilen ISOT Sahte Haber Veri Seti tercih edilmiştir. Yöntem olarak MD5 hash tabanlı tekrar tespiti, katmanlı örnekleme ile veri bölme ve BERT-base-uncased modeli üzerinde ince ayar (fine-tuning) stratejisi benimsenmiştir. Veri temizliği aşamasında 6.252 tekrarlı örnek (%13.9) belirlenerek veri setinden çıkarılmış, eğitim-test seti örtüşmesi 1.950 örnekten 2'ye indirgenmiştir. Elde edilen bulgular, temizlenmiş veri seti üzerinde %99.97 test doğruluğuna ulaşıldığını, sahte haber sınıfı için %99.92 kesinlik ve %100 duyarlılık değerlerinin sağlandığını ortaya koymaktadır. AUC-ROC skoru 0.9997 olarak hesaplanmıştır. Sonuç olarak, metodolojik titizlik gözetildiğinde BERT modellerinin sahte haber tespitinde üstün performans sergileyebildiği doğrulanmış; veri sızıntısı önleme stratejilerinin model değerlendirmesindeki belirleyici rolü açık biçimde gösterilmiştir.