AI Summary & Key Takeaways
AI InsightExperimental results demonstrated that hybrid deep learning architectures consistently outperformed standalone models and traditional classifiers.
📌 3 Key Takeaways
Abstract
Online hotel reviews significantly influence consumer decision-making, yet the growing prevalence of deceptive reviews poses a serious threat to their reliability. This study addresses the challenge of fake review classification in Turkish, a morphologically rich and low-resource language for which labeled datasets and classification frameworks remain scarce. A balanced dataset of 1,889 Turkish hotel reviews was constructed by combining 945 genuine TripAdvisor reviews with 944 synthetically generated reviews produced via a pre-trained Turkish GPT-2 language model. Eight classification models were systematically evaluated and compared, encompassing traditional machine learning algorithms, including SVM, Random Forest, and CatBoost, and deep learning architectures, including CNN, BiLSTM, DNN, CNN-BiLSTM, and CNN-BiLSTM-DNN. Experimental results demonstrated that hybrid deep learning architectures consistently outperformed standalone models and traditional classifiers. The proposed CNN-BiLSTM-DNN model achieved the highest overall performance, with an accuracy of 0.9339, precision of 0.9385, F1-score of 0.9361, and AUC of 0.9810. As far as the authors are aware, no prior work has attempted to apply synthetic data generation via a Turkish GPT-2 model for fake hotel review classification. This approach represents a methodological contribution with broad applicability to other morphologically rich, low-resource languages.
Özet
Çevrimiçi otel değerlendirmeleri tüketicilerin karar verme süreçleri üzerinde önemli bir etkiye sahip olmakla birlikte, yanıltıcı ve sahte yorumların giderek yaygınlaşması bu değerlendirmelerin güvenilirliğini ciddi ölçüde tehdit etmektedir. Bu çalışma, etiketli veri setleri ve sınıflandırma çerçevelerinin sınırlı olduğu, biçimbilimsel açıdan zengin ve düşük kaynaklı bir dil olan Türkçede sahte yorumların sınıflandırılması problemini ele almaktadır. Araştırma kapsamında, TripAdvisor platformundan elde edilen 945 gerçek kullanıcı yorumu ile önceden eğitilmiş bir Türkçe GPT-2 dil modeli aracılığıyla sentetik olarak üretilen 944 yorum birleştirilerek toplam 1.889 otel yorumundan oluşan dengeli bir veri seti oluşturulmuştur. Çalışmada, Destek Vektör Makineleri (SVM), Rastgele Orman (Random Forest) ve CatBoost gibi geleneksel makine öğrenmesi algoritmalarının yanı sıra CNN, BiLSTM, DNN, CNN-BiLSTM ve CNN-BiLSTM-DNN mimarilerini içeren sekiz farklı sınıflandırma modeli sistematik olarak değerlendirilmiş ve karşılaştırılmıştır. Deneysel bulgular, hibrit derin öğrenme mimarilerinin hem tek başına kullanılan derin öğrenme modellerinden hem de geleneksel sınıflandırma algoritmalarından daha üstün performans sergilediğini ortaya koymuştur. Önerilen CNN-BiLSTM-DNN modeli, %93,39 doğruluk (accuracy), %93,85 kesinlik (precision), %93,61 F1 skoru ve %98,10 AUC değeri ile en yüksek genel performansa ulaşmıştır. Yazarların bilgisi dâhilinde, daha önce Türkçe GPT-2 modeli kullanılarak sentetik veri üretimi yoluyla sahte otel yorumlarının sınıflandırılmasına yönelik herhangi bir çalışma gerçekleştirilmemiştir. Bu yönüyle çalışma, biçimbilimsel açıdan zengin ve düşük kaynaklı diğer dillere de uygulanabilecek nitelikte özgün bir metodolojik katkı sunmaktadır.