Apache Spark Tabanlı Duygu Analizi

Özet

Bu çalışmada, büyük verileri bellek içi hesaplama yöntemi ile hızlı bir şekilde işleyebilen Apache Spark açık kaynak kodlu çerçeve kullanılarak duygu analizi gerçekleştirilmiştir. Duygu analizi işleminde Spark içerisinde bulunan MLlib makine öğrenimi kütüphanesi kullanılmıştır. Lojistik regresyon (LR), destek vektör makinesi (SVM) ve Naive Bayes (NB) makine öğrenmesi sınıflandırma algoritmaları kullanılmıştır. Çalışmada, duygu analizinde kullanılan makine öğrenmesi algoritmaları doğruluk, kesinlik ve duyarlılık performanslarına göre değerlendirilmektedir. Sonuçlar, SVM algoritmasının çalışmada kullanılan iki farklı veri setinde de sırasıyla %91, %88 doğruluk, %91, %90 kesinlik ve %91, %87 duyarlılık değerleri ile en iyi performansa sahip olduğunu göstermektedir.

Abstract

In this study, sentiment analysis is carried out using the Apache Spark open source framework, which is capable of processing big data quickly with the method of computing in memory. MLlib machine learning library in Spark is used in the sentiment analysis process. Logistic regression (LR), support vector machine (SVM) and Naive Bayes (NB) machine learning classification algorithms were used. In the study, machine learning algorithms used in sentiment analysis are evaluated according to their accuracy, precision and sensitivity performances. The results show that the SVM algorithm has the best performance in the two different data sets used in the study, with 91%, 88% accuracy, 91%, 90% precision and 91%, 87% sensitivity, respectively.