AI Summary & Key Takeaways
AI InsightTransformer-based models generally achieved stronger overall and class-specific classification performance, while conventional machine learning models offered substantially lower computational requirements.
📌 3 Key Takeaways
Abstract
Corporate email systems are a fundamental component of businesses' communication and business processes, but they also bring significant cybersecurity risks such as spam and phishing attacks. Especially as digitalization increases, the accurate and rapid detection of email-based threats faced by businesses has become a critical requirement. This research presents a comparative performance analysis of machine learning and transformer-based deep learning models for the automatic classification of spam, normal, and phishing messages. A large-scale, three-class dataset consisting of 479,466 English email records was used in the study. Traditional machine learning algorithms such as Support Vector Machines (SVM-LinearSVC), Logistic Regression (LR), Naive Bayes (NB), and Decision Tree (DT) models, as well as transformer-based BERT, RoBERTa, and ELECTRA models, were evaluated. The performance of the models was analyzed using accuracy, precision, recall, F1-Score, ROC-AUC, and confusion matrix metrics. In addition, statistical comparisons, phishing-specific security errors, cost-sensitive scenarios, and computational efficiency were evaluated to provide a more comprehensive assessment of model performance. Transformer-based models generally achieved stronger overall and class-specific classification performance, while conventional machine learning models offered substantially lower computational requirements. BERT achieved the highest overall performance, with 98.84% accuracy and a Macro F1-Score of 0.9827, while RoBERTa produced statistically comparable results. Security-oriented and computational analyses further showed that the model with the highest aggregate performance was not necessarily optimal for all deployment scenarios, highlighting the importance of considering misclassification consequences, computational requirements, email traffic volume, and available infrastructure in model selection. It is considered that the research contributes to the literature on email security and AI-based cyber risk management through models developed using a large-scale, three-class dataset, diverse AI architectures, and security-oriented evaluation criteria.
Özet
Kurumsal elektronik posta (e-posta) sistemleri, işletmelerin iletişim ve iş süreçlerinin temel bileşenlerinden biri olmakla birlikte, spam ve kimlik avı (phishing) saldırıları gibi önemli siber güvenlik risklerini de beraberinde getirmektedir. Özellikle artan dijitalleşme ile birlikte işletmelerin maruz kaldığı e-posta tabanlı tehditlerin doğru ve hızlı şekilde tespit edilmesi kritik bir gereklilik haline gelmiştir. Bu araştırmada, spam, normal ve kimlik avı mesajlarının otomatik olarak sınıflandırılması yaklaşımına yönelik makine öğrenmesi ve transformer tabanlı derin öğrenme modellerinin karşılaştırmalı performans analizi gerçekleştirilmiştir. Araştırma kapsamında yaklaşık 515 bin İngilizce e-posta kaydından oluşan büyük ölçekli ve üç sınıflı bir veri seti kullanılmıştır. Çalışmada geleneksel makine öğrenmesi algoritmalarından Destek Vektör Makineleri (SVM), Lojistik Regresyon (LR), Naive Bayes (NB) ve Karar Ağacı (DT) modelleri ile transformer tabanlı BERT, RoBERTa ve ELECTRA modelleri değerlendirilmiştir. Kullanılan veri setine metin temizleme, stopword filtreleme, tokenleştirme ve vektörleştirme gibi veri ön işleme süreçleri uygulanmıştır. Modellerin performansları doğruluk (accuracy), kesinlik (precision), geri çağırma (recall), F1-Score, ROC-AUC ve confusion matrix ölçütleri kullanılarak analiz edilmiştir. Araştırma sonuçları, transformer tabanlı modellerin tüm performans metrikleri açısından geleneksel makine öğrenmesi modellerine kıyasla daha başarılı sonuçlar ürettiğini göstermektedir. En yüksek performans ELECTRA modeli tarafından elde edilmiş olup model %98,81 doğruluk ve 0,9837 F1-Score değerine ulaşmıştır. Diğer modeller ise %90-%98 aralığında değişen oranlarda performans sergilemiştir. Bulgular, transformer tabanlı modellerin özellikle phishing içeriklerinin tespitinde daha güçlü sınıf ayrım kapasitesi sunduğunu ortaya koymaktadır. Araştırmanın büyük ölçekli ve üç sınıflı veri yapısıyla ve farklı yapay zekâ mimarileri kullanılarak geliştirilen modelleriyle e-posta güvenliği ve yapay zekâ tabanlı siber risk yönetimi literatürüne katkı sağladığı değerlendirilmektedir.