Investigation of Word Vector Models Trained with Turkish Hotel Comments by Sentiment Analysis

Türkçe Otel Yorumlarıyla E˘gitilen Kelime Vektörü Modellerinin Duygu Analizi ile ˙Incelenmesi

Abstract

One of the important research areas of Natural Language Processing and text classification is sentiment analysis. Studies in this area are growing rapidly. This technique manifests itself in all kinds of applications of digital life. There are many techniques developed for sentiment analysis, but recently, word embedding methods of natural language processing have become widely used in sentiment analysis. Word2Vec is one of the most useful word embedding methods that can convert words into meaningful vectors. In order to create word vectors with this method, large word pools are needed. Pre-trained models make it possible to achieve more accurate results in sentiment analysis. In this study, Turkish hotel reviews of approved users were collected by data scraping methods for examination of sentiment analysis. Obtained from the original data by training with Word2Vec word vectors were created. With these vectors, a classification model has been developed with Gated Recurrent Unit which is a kind of Recurrent Neural Networks. The vectors formed by assigning random values to wider corpus-trained word vectors were re-examined with the same deep learning method and the obtained classification successes were compared. According to the results, it was observed that the broader corpus independent of the private area increased the success of classification.

Özet

Do˘gal dil i¸slemenin ve metin sınıflandırmanın önemli ara¸stırma alanlarından biri de duygu analizidir. Bu alanda çalı¸smalar hızla büyümektedir. Bu teknik dijital ya¸samın her çe¸sit uygulama alanında kendini göstermektedir. Duygu analizi için geli¸stirilen birçok teknik vardır ancak son zamanlarda do˘gal dil i¸slemenin kelime vektör modeli metotları duygu analizinde yaygın olarak kullanılmaya ba¸slamı¸stır. Word2Vec kelimeleri anlamlı vektörlere dönü¸stürebilen en kullanı¸slı kelime vektör modeli yöntemleri arasındadır. Bu yöntem ile kelime vektörleri olu¸sturabilmek için büyük kelime havuzlarına ihtiyaç vardır. Önceden e˘gitilmi¸s modeller duygu analizinde daha do˘gru sonuçlara ula¸sabilmeyi mümkün kılarlar. Bu çalı¸smada duygu analizinde incelenmek üzere, onaylanmı¸s kullanıcıların Türkçe otel yorumları veri kazıma yöntemleri ile toplanmı¸stır. Elde edilen bu özgün veriler Word2Vec ile e˘gitilerek kelime vektörleri olu¸sturulmu¸stur. Bu vektörler ile tekrarlanan yapay sinir a˘gının bir çe¸sidi olan geçitli tekrarlayan birimler ile bir sınıflandırma modeli geli¸stirilmi¸stir. Daha geni¸s kelime torbalarıyla e˘gitilmi¸s kelime vektörleri ile rastgele de˘gerler atanarak olu¸sturulan vektörler, aynı derin ö˘grenme yöntemiyle yeniden incelenmi¸s ve elde edilen sınıflandırma ba¸sarıları kar¸sıla¸stırılmı¸stır. Elde edilen sonuçlara göre özel alandan ba˘gımsız, daha geni¸s kapsamlı kelime torbalarının sınıflandırma ba¸sarısını arttırdı˘gı gözlemlenmi¸stir.