Increasing the Classification Accuracy of BERT Model with Zero-Shot Learning

BERT Modeli'nin Sınıflandırma DoğruluğununSıfır-Atış Öğrenmesi ile Artırılması

Abstract

This study used the BERT model to automatically classify ad texts created on online advertising platforms according to the industry. Our training dataset consists of approximately 101.000 advertisement texts from 44 different sectors labeled with the relevant sector names. It has been observed that the classification performance is low for specific sectors. It has been understood that this is due to some outlier advertising texts in the relevant training dataset. For this reason, the Zero-Shot Learning method, which is a current method in natural language processing (NLP), was used to automatically determine the suitability of the sector and advertisement text and perform a preprocessing for the data set. After this preprocessing study, it was observed that the classification performance of the BERT model, which was retrained with the cleaned data set, increased significantly.

Özet

Bu çalışmada, çevrimiçi reklam platformlarında oluşturulan reklam metinlerinin sektöre göre otomatik olarak sınıflandırılması için Çift Yönlü Kodlayıcı Gösterimleri (BERT) modeli kullanılmıştır. Eğitim veri setimiz 44 farklı sektöre ait yaklaşık 101.000 adet, ilgili sektör isimleri ile etiketlenmiş reklam metninden oluşmaktadır. Sınıflandırma başarımının belirli sektörler için düşük olduğu gözlemlenmiştir. Bunun, ilgili eğitim veri setindeki aykırı bazı reklam metinlerinden kaynaklandığı gözlemlenmiştir. Bu sebeple sektör ve reklam metni uygunluğunu otomatik olarak tespit etmek ve veri seti için bir ön işleme gerçekleştirmek amacıyla doğal dil işleme (NLP) alanında güncel bir yöntem olan Sıfır-Atış Öğrenmesi yöntemi kullanılmıştır. Bu ön işleme çalışmasından sonra temizlenen veri seti ile tekrardan eğitilen BERT modelinin sınıflandırma başarımının önemli ölçüde arttığı gözlemlenmiştir.