Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightDeneysel sonuçlar, TF-IDF ve Count N-grama dayalı bot tespit modellerinin, Word2Vec ve FastText tabanlı modellere kıyasla neredeyse tüm metriklerde daha iyi performans gösterdiğini ortaya koymuştur.
📌 3 Maddede Bu Makale
Özet
Bu çalışma, profil meta-verilerinden bağımsız olarak yalnızca tweet metinlerinin kullanıldığı metin temelli özellik çıkarım yöntemleri ile makine öğrenimi (ML) yaklaşımlarını entegre eden bot tespit yaklaşımları üzerine yapılmış kapsamlı analizleri sunar. Bu kapsamda çalışmada dört farklı metin temsil yöntemi (Terim Sıklığı - Ters Belge Sıklığı (TF-IDF), Count N-gram, Word2Vec ve FastText) ile yedi farklı klasik ML algoritmasının (Linear SVM, LR, DT, RF, GB, LightGBM ve XGBoost) kombinasyonlarından oluşan toplam 28 deneysel model sistematik olarak değerlendirilmiştir. Deneysel sonuçlar, TF-IDF ve Count N-grama dayalı bot tespit modellerinin, Word2Vec ve FastText tabanlı modellere kıyasla neredeyse tüm metriklerde daha iyi performans gösterdiğini ortaya koymuştur. Bunlar arasında TF-IDF+LightGBM modeli, çoğu metrikte en yüksek skorlara ulaşmıştır. Model doğrulukta 0.9393, kesinlikte 0.9384, duyarlılıkta 0.9404, F1-skorunda 0.9394, ROC-AUC’ ta 0.9854 ve PR-AUC’ ta 0.9849 skorlarını elde etmiştir. Çeyrek bölge analizleri ayrıca TF-IDF+LR modelinin, rekabetçi bir F1-skorunu (0.9270) çok düşük gecikme süresiyle (0.000593 ms/örnek) birleştirerek sınıflandırma performansı ile hesaplama maliyeti arasında elverişli bir denge sunduğunu ve gerçek zamanlı uygulamalar için umut vadeden bir aday olduğunu göstermektedir. Çalışma bu anlamda ilgili alandaki gelecek araştırmalar için sistematik bir karşılaştırmalı çerçeve sağlamaktadır.
Abstract
This study presents a comprehensive analysis of bot detection approaches that integrate text representation methods with machine learning (ML) algorithms using only tweet text without relying on profile metadata. Within this scope, 28 experimental models, formed by combinations of four different text representation methods (Term Frequency-Inverse Document Frequency (TF-IDF), Count N-gram, Word2Vec, and FastText) and seven different classical ML algorithms (Linear Support Vector Machine (SVM), Logistic Regression (LR), Decision Tree (DT), Random Forest (RF), Gradient Boosting (GB), Light Gradient Boosting Machine (LightGBM), and eXtreme Gradient Boosting (XGBoost)), were systematically evaluated in the study. Experimental results show that bot detection models based on TF-IDF and Count N-gram representations outperform those using Word2Vec and FastText across almost all metrics. Among them, TF-IDF+LightGBM achieved the highest scores on most metrics: accuracy of 0.9393, precision of 0.9384, recall of 0.9404, F1-score of 0.9394, ROC-AUC of 0.9854, and PR-AUC of 0.9849. Quartile-zone analyses further indicate that TF-IDF+LR offers a favorable trade-off between performance and computational cost, combining a competitive F1-score (0.9270) with very low latency (0.000593 ms/sample), making it a promising candidate for real-time applications. The study also provides a systematic comparative framework for future research in this field.