AI Summary & Key Takeaways
AI InsightThese results prove that BERT based Artificial Intelligence models, combined with proper data preparation and training strategies, can successfully perform complex sentiment analysis tasks even for morphologically rich languages like Turkish.
📌 3 Key Takeaways
Abstract
This study addresses the sentiment analysis of customer feedback using an AI-based approach, moving beyond traditional positive/negative classification to a multi-class structure based on star ratings from 1 to 5. For this purpose, a series of classification models named "YıldızSezar" were developed and optimized on a comprehensive dataset of approximately 900.000 Turkish customer reviews. The study demonstrates that traditional machine learning methods fall short in handling complex language structures and intermediate classes (2, 3, and 4 stars), thus shifting the focus to Transformer-based models. Extensive cleaning protocols were applied to enhance data quality, and the class imbalance problem was addressed by enriching the dataset with synthetic data generated via a LLaMA-based model. The final model, YıldızSezar, developed using the ConvBERT architecture and optimized training strategies, achieved 0,8996 accuracy and a macro F1-score of 0,7990 on the test set, showing high performance, especially in intermediate classes. These results prove that BERT based Artificial Intelligence models, combined with proper data preparation and training strategies, can successfully perform complex sentiment analysis tasks even for morphologically rich languages like Turkish.
Özet
Bu çalışma, müşteri geri bildirimlerinin yapay zekâ tabanlı duygu analizini, geleneksel olumlu/olumsuz sınıflandırmanın ötesine taşıyarak 1'den 5'e kadar yıldız puanlarına göre çok sınıflı bir yapıda ele almaktadır. Bu amaçla, Türkçe müşteri yorumlarından oluşan yaklaşık 900.000 verilik kapsamlı bir veri seti üzerinde, "YıldızSezar" adı verilen bir dizi sınıflandırma modelleri geliştirilmiş ve optimize edilmiştir. Çalışmada, geleneksel makine öğrenmesi yöntemlerinin karmaşık dil yapıları ve ara sınıflarda (2, 3, 4 yıldız) yetersiz kaldığı görülmüş, bu nedenle Transformer tabanlı modellere odaklanılmıştır. Veri kalitesini artırmak için kapsamlı temizleme protokolleri uygulanmış ve sınıf dengesizliği sorununu gidermek amacıyla veri seti, LLaMA tabanlı bir model aracılığıyla üretilen sentetik verilerle zenginleştirilmiştir. ConvBERT mimarisi ve optimize edilmiş eğitim stratejileri kullanılarak geliştirilen nihai model YıldızSezar, test seti üzerinde 0,8996 doğruluk ve 0,7990 makro F1-skoru elde ederek, özellikle ara sınıflarda yüksek başarım göstermiştir. Bu sonuçlar, BERT tabanlı yapay zeka modellerinin, doğru veri hazırlama ve eğitim stratejileriyle, Türkçe gibi morfolojik olarak zengin dillerde dahi karmaşık duygu analizi görevlerini başarıyla yerine getirebileceğini kanıtlamaktadır.