Sentiment Analysis of Online Feedbacks on Hotels via Machine Learning Methods

Otellere İlişkin Çevrimiçi Geribildirimlerin Makine Öğrenmesi Yöntemleriyle DuyguAnalizi

Abstract

Purpose – Today, one of the ways to quickly understand the consumer is to analyse their feedbacks aboutthe products or services of the business quickly and accurately. In this sense, understanding the sentimentin the feedback with computer-based techniques is one of the ways to be followed. Overlapping levelbetween the sentiments hidden in the feedbacks of hotel customers and their ratings regarding the servicethey received from the hotel have been examined in this study. Design/methodology/approach – The method used in the research is machine learning-based sentimentanalysis. The data set used consists of customer comments on 164 hotels in Antalya, extracted from anonline booking site via web scraping method. Compatibility of the comments in the data set with theratings added to the comments by the customers was tested with a binary sentiment classification viaseven different machine learning algorithms including Logistic Regression (LR), Random Forest (RF),CART Decision Tree (CART), K-Nearest Neighbors (KNN), Support Vector Machines (SVM), LineerDiscriminant Analysis (LDA), Naïve Bayes (NB). Findings – While the average classification success of the algorithms used in supervised sentimentclassification was calculated as 81.3%, it was understood that the algorithm produced the most successfulresults among them was Logistic Regression (87.9%). The methods used in this study were lined up as LR (%87,99), SVM (%86,84), LDA (%86,24), NB (%82,66), RF (%82,00), CART (%76,92) and KNN (%63,91).Discussion – It has been suggested that the model applied in the study, in parallel with the literature, canbe used as a tool for hotel managers to make fast, consistent and cost-effective marketing decisions, andthat added value can be produced for hotel businesses. It is thought that the study will provide supportto both the stakeholders of the accommodation businesses and the researchers who will work on thissubject. Moreover, satisfaction with hotel services located in Antalya province instead of international orglobal tourism satisfaction were investigated in the study. This study can be extended with similar studiesfor both different minimal locations and larger regions in Turkey. In future studies, it will be possible torealize multilingual applications by using different language libraries. In addition, it is foreseen that thetextual expressions can be successfully and quickly resolved in terms of accommodation businesses, aswell as cost, time and labour savings.

Özet

Amaç – Günümüzde tüketiciyi hızlı anlamanın yollarından biri, onların ürün ya da hizmetler ile ilgili geribildirimlerini hızlı ve doğru biçimde analiz etmektir. Bu anlamda geribildirimlerin içindeki duygununbilgisayar temelli tekniklerle anlaşılması izlenecek yollardan biridir. Bu çalışmada, otel müşterilerinin geribildirimlerinde gizli olan duyguların otelden aldıkları hizmete dair derecelemeleriyle örtüşme düzeyiaraştırılmıştır. Yöntem – Araştırmada kullanılan yöntem makine öğrenmesi temelli duygu analizidir. Kullanılan veriseti, çevrimiçi bir rezervasyon sitesinden web kazıma yöntemiyle çekilen ve Antalya’da yer alan 164 oteleilişkin müşteri yorumlarından oluşmaktadır. Veri setindeki yorumların müşteriler tarafından yorumlaraeklenilen beğeni dereceleri ile uyumluluğu; Lojistik Regresyon, Rastgele Orman (RF), Karar Ağacı(CART), K-En Yakın Komşu (KNN), Destek Vektör Makinaları (SVM), Doğrusal Diskriminant Analizi(LDA) ve Naïve Bayes (NB) olmak üzere yedi farklı makine öğrenme algoritmasının kullanıldığı ikiliduygu sınıflandırma yöntemi ile test edilmiştir. Test sonucunda elde edilen karmaşıklık matrislerininoluşturulmasıyla model başarım ölçütleri hesaplanmıştır. Duygu sınıflandırmasının başarıylayapılmasının yanı sıra elde edilen modellerin performansları karşılaştırılarak görselleştirilmiştir.Bulgular – Denetimli duygu sınıflandırmada kullanılan algoritmaların ortalama sınıflandırma başarısı%81,30 olarak hesaplanırken, bunların içerisinde en başarılı sonuç üreten algoritmanın Lojistik Regresyon(%87,99) olduğu anlaşılmıştır. Kullanılan yöntemler başarı sırası ile Lojistik Regresyon (%87,99), DestekVektör Makinaları (%86,84), Doğrusal Diskriminant Analizi (%86,24), Naïve Bayes (%82,66), RastgeleOrman (%82,00), Karar Ağaçları (%76,92) ve K-En Yakın Komşu (%63,91) şeklinde sıralanmıştır.Tartışma – Çalışmada uygulanan modelin, literatürle paralel olarak, otel işletmelerinin yöneticilerininhızlı, tutarlı ve maliyet etkin pazarlama kararları almalarında bir araç olarak kullanılabileceği ve otelişletmeleri adına katma değer üretilebileceği öne sürülmüştür. Çalışmanın gerek konaklamaişletmelerinin paydaşlarına gerekse bu konuda çalışma yapacak araştırmacılara destek sağlayacağıdüşünülmektedir. Dahası, bu çalışmada Türkiye’nin ya da daha küresel turizm memnuniyeti yerineAntalya ilindeki otel hizmetlerinden duyulan memnuniyet incelenmiştir. Bu çalışma, Türkiye’deki gerekfarklı minimal lokasyonlar gerekse daha büyük bölgesel incelemeler için benzer çalışmalar ilegenişletilebilecektir. Daha ileride yapılacak çalışmalarda farklı dil kütüphaneleri kullanarak da çok dilliuygulamaların gerçekleştirilebilmesi mümkün olacaktır. Ayrıca metinsel ifadelerin konaklama işletmeleriaçısından başarılı ve hızlı bir şekilde çözümlenebileceğinin kanıtlanmasının yanı sıra maliyet, zaman veişgücü kazancının oluşacağı ön görülmüştür.