AI Summary & Key Takeaways
AI InsightWhen evaluating machine learning models, experts provide subjective opinions based on each classification metric to determine the successful model.
📌 3 Key Takeaways
Abstract
In this paper, the success of machine learning models applied to two datasets consisting of fake news was examined. The performance of these methods was measured using Accuracy, Precision, Recall, and F1-Score. Evaluation metrics for all models were calculated using TF-IDF and N-gram TF-IDF for Dataset 1 and Dataset 2, respectively. In continuation of the study, a decision-making mechanism was created to measure the success of machine learning methods. The success of these models was compared by creating a decision-making mechanism using intuitionistic fuzzy sets. The PROMETHEE method was used here. In the first stage of the study, the dataset samples evaluated were expressed using classical sets, while in the second stage, the success of the models according to the metrics was expressed using intuitionistic fuzzy values. This was to minimize the uncertainty in the model success results. The results obtained in the first stage of the study were evaluated in the second stage using a decision-making mechanism. In this mechanism, machine learning models represent the alternatives, while classification metrics represent the criteria. When evaluating machine learning models, experts provide subjective opinions based on each classification metric to determine the successful model.
Özet
Bu çalışmada, sahte haberlerden oluşan iki veri kümesine uygulanan makine öğrenmesi modellerinin başarısı incelenmiştir. Bu yöntemlerin performansı Doğruluk, Kesinlik, Geri Çağırma ve F1-Puanı kullanılarak ölçülmüştür. Tüm modeller için değerlendirme metrikleri, Veri Seti 1 ve Veri Seti 2 için sırasıyla TF-IDF ve N-gram TF-IDF kullanılarak hesaplanmıştır. Çalışmanın devamında, makine öğrenmesi yöntemlerinin başarısını ölçmek için bir karar verme mekanizması oluşturulmuştur. Bu modellerin başarısı, sezgisel bulanık kümeler kullanılarak bir karar verme mekanizması oluşturularak karşılaştırılmıştır. Burada PROMETHEE yöntemi kullanılmıştır. Çalışmanın ilk aşamasında, değerlendirilen veri seti örnekleri klasik kümeler kullanılarak ifade edilmiş, ikinci aşamada ise modellerin metriklere göre başarısı sezgisel bulanık değerler kullanılarak ifade edilmiştir. Bu, model başarı sonuçlarındaki belirsizliği en aza indirmektir. Çalışmanın ilk aşamasında elde edilen sonuçlar, ikinci aşamada bir karar verme mekanizması kullanılarak değerlendirilmiştir. Bu mekanizmada, makine öğrenimi modelleri alternatifleri, sınıflandırma ölçütleri ise kriterleri temsil eder. Makine öğrenmesi modellerini değerlendirirken, uzmanlar başarılı modeli belirlemek için her sınıflandırma ölçütüne dayalı öznel görüşler sunar.