AI Summary & Key Takeaways
AI InsightThe reductions are statistically significant (Wilcoxon, p < 10^-11), and a three-rater human evaluation of 30 pairs gives positive tone-improvement (3.98/5) and corporate-appropriateness (4.14/5) alongside moderate meaning preservation (2.88/5).
📌 3 Key Takeaways
Abstract
Although spam-filter accuracy has improved over the years, false positives can route legitimate corporate emails to spam folders. In this study, an integrated hybrid artificial intelligence system was developed to reduce the risk of false positives in Turkish emails. The system consists of two modules: (i) a detection module comparing Naïve Bayes, Logistic Regression, and Linear Support Vector Machine (Linear SVM) classifiers using TF-IDF features, and (ii) a text softening module based on mT5-small, retrained using the task transfer learning method. In the detection module, the Linear SVM achieved the best spam-class F1 score of 98.86% on a balanced dataset of 6,727 examples from five public sources plus additional project examples; after filtering near-duplicate records, this adjusted to approximately 97.3%. The softening module was retrained on 1,235 paired samples covering pure advertising and aggressively toned corporate patterns. False-positive reduction was evaluated on a held-out set of 118 emails: in the high-risk subset (>50% spam likelihood), the average spam score dropped from 74.5% to 41.0% (33.5 points), and 25 of 40 emails (62.5%) were reclassified as legitimate after softening. Output quality reached a BERTScore F1 of 0.7146 (95% CI [0.699, 0.730]), with brand, URL, and numerical information preserved at 100%, 91.4%, and 93.8%. The reductions are statistically significant (Wilcoxon, p < 10^-11), and a three-rater human evaluation of 30 pairs gives positive tone-improvement (3.98/5) and corporate-appropriateness (4.14/5) alongside moderate meaning preservation (2.88/5).
Özet
Spam filtrelerinin doğruluğu yıllar içinde artmış olsa da, yanlış pozitif sonuçlar nedeniyle meşru kurumsal e-postalar spam klasörlerine yönlendirilebilmektedir. Bu çalışmada, Türkçe e-postalarda yanlış pozitif sonuç riskini azaltmak amacıyla entegre bir hibrit yapay zeka sistemi geliştirilmiştir. Sistem iki modülden oluşmaktadır: (i) TF-IDF özelliklerini kullanarak Naïve Bayes, Lojistik Regresyon ve Doğrusal Destek Vektör Makinesi (Linear SVM) sınıflandırıcılarını karşılaştıran bir algılama modülü ve (ii) görev aktarım öğrenimi yöntemi kullanılarak yeniden eğitilen, mT5-small tabanlı bir metin yumuşatma modülü. Algılama modülünde, Lineer SVM, beş kamuya açık kaynaktan elde edilen 6.727 örnekten oluşan dengeli bir veri seti ve ek proje örnekleri üzerinde spam sınıfında %98,86’lık en iyi F1 puanını elde etmiştir; neredeyse aynı olan kayıtlar filtrelendikten sonra bu oran yaklaşık %97,3’e düşmüştür. Yumuşatma modülü, tamamen reklam amaçlı ve agresif üslublu kurumsal kalıpları kapsayan 1.235 eşleştirilmiş örnek üzerinde yeniden eğitilmiştir. Yanlış pozitiflerin azaltılması, 118 e-postadan oluşan bir test kümesinde değerlendirildi: yüksek riskli alt kümede (spam olasılığı %50'nin üzerinde), ortalama spam puanı %74,5'ten %41,0'a (33,5 puan) düştü ve 40 e-postadan 25'i (%62,5) yumuşatma işleminden sonra meşru olarak yeniden sınıflandırıldı. Çıktı kalitesi, BERTScore F1 değeri 0,7146’ya (95% CI [0,699, 0,730]) ulaştı; marka, URL ve sayısal bilgiler sırasıyla %100, %91,4 ve %93,8 oranında korunmuştur. Bu azalmalar istatistiksel olarak anlamlıdır (Wilcoxon, p < 10^-11) ve 30 çift üzerinde üç değerlendirici tarafından yapılan insan değerlendirmesi, olumlu bir üslup iyileşmesi (3,98/5) ve kurumsal uygunluk (4,14/5) ile birlikte orta düzeyde anlam koruma (2,88/5) sonuçları vermektedir.