AI Summary & Key Takeaways
AI InsightIn this aspect, the study presents an applicable, explainable, and scalable approach for unlabeled text data without requiring human annotation.
📌 3 Key Takeaways
Abstract
In this study, it is aimed to automatically classify clickbait content within an unlabeled dataset consisting of video titles from the YouTube platform. The labeling process was carried out using a rule-based scoring system developed based on clickbait indicators defined in the literature. For each title, a clickbait score was calculated by considering structural and linguistic features (numeral usage, capitalization ratio, punctuation density, emotional patterns, etc.), and classification was performed based on a determined threshold value. The reliability of the proposed labeling approach was supported by agreement analysis (Cohen’s Kappa) performed with human verifiers. Logistic Regression, Support Vector Machines, K-Nearest Neighbors, Random Forest, Gradient Boosting, and XGBoost machine learning algorithms were applied to the obtained labeled data. The models were evaluated using accuracy, precision, recall, F1 score, and ROC-AUC metrics; hyperparameter optimization was performed via the GridSearchCV method. The results revealed that ensemble-based algorithms (especially XGBoost and Random Forest) demonstrated the highest performance. Descriptive statistics and t-test findings showed that clickbait titles possess structures that are shorter, contain more punctuation marks, and are emphasized with expressions in uppercase letters. In this aspect, the study presents an applicable, explainable, and scalable approach for unlabeled text data without requiring human annotation.
Özet
Bu çalışmada, YouTube platformundaki video başlıklarından oluşan etiketsiz bir veri kümesinde clickbait (tıklanma tuzağı) içeriklerinin otomatik olarak sınıflandırılması amaçlanmıştır. Etiketleme süreci, literatürde tanımlanan clickbait göstergelerine dayalı olarak geliştirilen kural tabanlı bir puanlama sistemi ile gerçekleştirilmiştir. Her başlık için yapısal ve dilsel özellikler (rakam kullanımı, büyük harf oranı, noktalama yoğunluğu, duygusal kalıplar vb.) dikkate alınarak clickbait skoru hesaplanmış ve belirlenen eşik değeri üzerinden sınıflandırma yapılmıştır. Önerilen etiketleme yaklaşımının güvenilirliği, insan doğrulayıcılar ile gerçekleştirilen uyum analizi (Cohen’s Kappa) ile desteklenmiştir. Elde edilen etiketli veri üzerinde Lojistik Regresyon, Destek Vektör Makineleri, K-En Yakın Komşu, Rastgele Orman, Gradient Boosting ve XGBoost makine öğrenmesi algoritmaları uygulanmıştır. Modeller, doğruluk, kesinlik, duyarlılık, F1 skoru ve ROC-AUC metrikleriyle değerlendirilmiş; GridSearchCV yöntemiyle hiperparametre optimizasyonu gerçekleştirilmiştir. Sonuçlar, ensemble tabanlı algoritmaların (özellikle XGBoost ve Random Forest) en yüksek performansı gösterdiğini ortaya koymuştur. Betimleyici istatistikler ve t-testi bulguları, clickbait başlıkların daha kısa, daha fazla noktalama işareti içeren ve büyük harfli ifadelerle vurgulanan yapılara sahip olduğunu göstermiştir. Bu yönüyle çalışma, etiketsiz metin verilerinde insan etiketlemesi gerektirmeden uygulanabilir, açıklanabilir ve ölçeklenebilir bir yaklaşım sunmaktadır.