AI Summary & Key Takeaways
AI InsightThe cross-validated accuracy of SVM is further improved through hyperparameter tuning, resulting in 99.70%.
📌 3 Key Takeaways
Abstract
Spam-bots have become a widespread problem due to the ease of creating accounts on the X platform. These bots are designed to automatically generate and disseminate unsolicited content, frequently for advertising purposes or events of questionable legality. A key challenge in detecting these spam-bots is their ability to create accounts rapidly, post certain volumes of content around an event, and then become dormant. This study examines spam-bot accounts created to promote cryptocurrency trading on X. We present a novel approach to obtain a spam-bot dataset for coin-related tweets, including data collection, analysis, and labeling. For data preprocessing, we applied Natural Language Processing techniques, which resulted in an imbalanced dataset. We used BERT embeddings for feature extraction and evaluated the performance of nine machine learning algorithms in detecting the tweets of spam-bot accounts. The SVM model achieves the highest cross-validated accuracy of 98.09% on the balanced dataset, produced using the SMOTE oversampling technique. On the original imbalanced dataset, Logistic Regression has the highest accuracy at 96.46%. The cross-validated accuracy of SVM is further improved through hyperparameter tuning, resulting in 99.70%.
Özet
X platformunda hesap açmanın kolaylığı nedeniyle spam-botlar yaygın bir sorun haline gelmiştir. Bu botlar, genellikle reklam amaçlı veya yasal açıdan şüpheli etkinlikler için, istenmeyen içerikleri otomatik olarak üretmek ve yaymak üzere tasarlanmıştır. Bu spam botlarını tespit etmede karşılaşılan en önemli zorluk, hızlı bir şekilde hesap oluşturabilmeleri, bir etkinlik etrafında belirli hacimlerde içerik yayınlamaları ve ardından pasif duruma geçmeleridir. Bu çalışma, X üzerinde kripto para ticaretini teşvik etmek için oluşturulan spam-bot hesaplarını incelemektedir. Çalışmada kripto para ile ilgili tweet’ler için veri toplama, analiz ve etiketleme süreçlerini içeren özgün bir spam-bot veri kümesi elde etme yaklaşımı sunulmuştur. Veri ön işleme için Doğal Dil İşleme teknikleri uygulanmış ve bu da dengesiz bir veri kümesiyle sonuçlanmıştır. Özellik çıkarımı için BERT yerleştirmeleri kullanılmış ve spam-bot hesaplarının tweet’lerini tespit etmede dokuz makine öğrenmesi algoritmasının performansı değerlendirilmiştir. Buna göre, SVM modeli SMOTE aşırı örnekleme tekniği kullanılarak üretilen dengeli veri kümesinde %98,09'luk en yüksek çapraz doğrulama doğruluğunu elde etmiştir. Orijinal dengesiz veri kümesinde ise %96,46 doğrulukla en yüksek başarıyı Lojistik Regresyon göstermiştir. SVM’nin çapraz doğrulanmış doğruluğu, hiperparametre ayarlamalarıyla daha da geliştirilmiş ve %99,70’e ulaşmıştır.