Daha İyi Dağıtımla İyileştirilmiş Dengesiz Veriler Üzerinde Derin Öğrenme ile Verimli Metin Sınıflandırması

Efficient Text Classification with Deep Learning on Imbalanced Data Improved with Better Distribution

Özet

Teknolojik gelişmeler ve internetin yaygınlaşması, günlük olarak üretilen verilerin katlanarak artmasına neden olmaktadır. Bu veri tufanının önemli bir kısmı sosyal medya, iletişim araçları, müşteri hizmetleri gibi uygulamalardan gelen metin verilerinden kaynaklanmaktadır. Bu büyük miktarda metin verisinin işlenmesi otomasyona ihtiyaç duymaktadır. Son zamanlarda metin işlemede önemli başarılar elde edilmiştir. Özellikle derin öğrenme uygulamaları ile metin sınıflandırma performansı oldukça tatmin edici hale gelmiştir. Bu çalışmada, metin sınıflandırma başarısını daha da artırmak için veri dengesizliği sorununu azaltan yenilikçi bir veri dağıtım algoritması önerdik. Deney sonuçları, veri dağılımını optimize eden algoritma ile sınıflandırma doğruluğunda yaklaşık %3,5 ve F1 puanında 3'ün üzerinde bir iyileşme olduğunu göstermektedir.

Abstract

Technological developments and the widespread use of the internet cause the data produced on a daily basis to increase exponentially. An important part of this deluge of data is text data from applications such as social media, communication tools, customer service. The processing of this large amount of text data needs automation. Significant successes have been achieved in text processing recently. Especially with deep learning applications, text classification performance has become quite satisfactory. In this study, we proposed an innovative data distribution algorithm that reduces the data imbalance problem to further increase the text classification success. Experiment results show that there is an improvement of approximately 3.5% in classification accuracy and over 3 in F1 score with the algorithm that optimizes the data distribution.