AI Summary & Key Takeaways
AI InsightThe F1- score value of unsupervised learning algorithms remained at 0.72.
📌 3 Key Takeaways
Abstract
In recent years, news and their sources have transformed with the increasing use of the internet. Instead of traditional media platforms such as radio, television, newspaper and magazine, the use of social media platforms is also growing. While certain sources share the news in traditional media, every user can be a news source in social media. Fake news is news produced by fake or provocative users for the purpose of propaganda, provocation or misleading users. Since an ordinary social media user may share any news without any filter and they are usually interesting, a fake news can spread rapidly. For this reason, it is very important to detect fake news as soon as possible. Sometimes, fake news is detected by expert systems. It is not possible to detect fake news in a short time with such expert systems on social media platforms with very dense sharing traffic. This causes fake news to be shared by many people in a short time. Therefore, semi-automatic and automatic fake news detection systems can provide fake news detection in a shorter time than non-autonomous expert systems. Automatic detection systems are needed to be developed in order to overcome this shortcoming. In this study, we collect data from Twitter, annotate them whether they are fake or real news. Then, we use supervised (K-Nearest Neighbor-KNN, Support Vector Machines-SVM, and Random Forest) and unsupervised (K-means, Non-Negative Matrix Factorization-NMF, and Linear Discriminant Analysis-LDA) machine learning algorithms to detect fake news automatically. We run each algorithm 100 times and the average F1-score values were examined. The best results were obtained with 0.86 F1-score value in supervised learning algorithms. The F1- score value of unsupervised learning algorithms remained at 0.72.
Özet
Son yıllarda internet kullanımının artmasıyla insanların bilgi ve haber alma kaynakları da değişmiştir. Radyo, televizyon, gazete ve dergi gibi geleneksel medya platformları yerine sosyal medya platformlarının kullanımı giderek artmaktadır. Geleneksel medyada haberler belirli bir kaynak tarafından gönderilirken, sosyal medyada her kullanıcı bir haber kaynağı olabilmektedir. Bu da sosyal medyadaki haberlerin bir süzgeçten geçirilmeden paylaşılmasına ve sahte haberlerin büyük bir hızla yayılmasına neden olmaktadır. Sahte haber; propaganda, provokasyon veya insanları yanıltma amacıyla sahte veya provokatif kullanıcılar tarafından yayılan haberlerdir. Dikkat çekici özellikte oldukları için sosyal medya aracılığı ile çok kısa sürede yayılabilmektedirler. Bu nedenle sahte haberlerin en kısa sürede tespit edilmesi büyük öneme sahiptir. Çoğu sosyal medya platformunda sahte haber tespiti uzmanlar tarafından yapılmaktadır. Çok yoğun paylaşım trafiği bulunan sosyal medya platformlarında uzmanlar tarafından kısa sürede sahte haber tespiti mümkün olmamaktadır. Bu da sahte haberin kısa sürede çok kişi tarafından paylaşılmasına neden olmaktadır. Bu nedenle yarı otomatik ve otomatik sahte haber tespiti sistemleri, uzmanlara göre daha kısa sürede sahte haber tespitini sağlayabilmektedir. Sahte haberleri kısa sürede tespit edebilmek için otomatik tespit sistemlerinin geliştirilmesi gerekmektedir. Bu çalışmada Türkçe dilinde, denetimli ve denetimsiz makine öğrenmesi algoritmaları kullanılarak Twitter üzerinde sahte haber tespiti yapılmış ve sonuçları incelenmiştir. Denetimsiz öğrenme algoritmalarından, K-ortalamalar (K-means), Negatif Olmayan Matris Çarpımı (Non-Negative Matrix Factorization-NMF) ve Doğrusal Diskriminant Analizi (Linear Discriminant Analysis-LDA); denetimli öğrenme algoritmalarından, K En Yakın Komşu (K Nearest Neighbor-KNN), Destek Vektör Makinaları (Support Vector Machines-SVM) ve Rassal Orman (Random Forest-RF) algoritmaları ile tahmin yapılmıştır. Her bir algoritma 100 defa çalıştırılarak ortalama F1 metrik değerleri incelenmiştir. Denetimli öğrenme algoritmalarında 0.86 F1-metrik değeriyle başarılı sonuçlar alınmıştır. Denetimsiz öğrenme algoritmalarının F1-metrik değeri ise 0.72'de kalmıştır.