Metin Temsil Yöntemlerine Yönelik Farklı Yakla¸sımların Kar¸sıla¸stırılması

A Comparison of Different Approaches to Document Representation in Turkish LanguageA Comparison of Different Approaches to Document Representation in Turkish Language

Abstract

Son zamanlarda derin ö˘grenme mimarileri bir çok do˘gal dil i¸sleme problemini ba¸sarılı bir ¸sekilde çözmü¸stür. Açık kaynak kodlu kütüphanelerin yaygınlı˘gı yapay zeka yakla¸sımlarını daha uygulanabilir hale getirmi¸stir. Teknolojideki bu ani ivmelenme do˘gal dil i¸slemedeki standartları dönü¸stürdü ve geli¸stirdi. Bu çalı¸smada açık kaynak kodların ve alanla ilgili ara¸stırmaların rahat eri¸sebilirli˘gi sayesinde metin temsiliyeti yakla¸sımlarının önemli bir kısmını de˘gerlendirme imkanı bulduk. Dört farklı paradigmayı metin temsiliyeti açısından de˘gerlendirdik: Geleneksel kelime torbası yakla¸sımı, konu modelleme, gömme temsiliyeti ve derin ö˘grenme. Çalı¸smanın ana katkısı olarak, Türkçe için metin sınıflandırma problemini tüm bu metin temsiliyetlerini ve ilgili makine ö˘grenme algoritmalarını kullanarak ele aldık. Olu¸sturulan denetimli ö˘grenme mimarisi özellikle Türkçe için hazırlanmı¸s bir veri seti ile sınanmı¸stır. Her bir temsiliyet için onunla uyumlu çalı¸sacak SVM, çok-katlı Naive Bayes (mNB) gibi makine ö˘grenmesi algoritmaları sınandı. Çe¸sitli deneyler sonucunda ba¸sarılı bir metin sınıflandırıcı mimarisinin Türkçe için nasıl kurulaca˘gını bu makalede tartı¸stık ve ba¸sarılı modeller sunduk. Son olarak kelime torbası gibi geleneksel yöntemlerin hala ba¸sarılı oldu˘gunu ve derin ö˘grenme temelli modellerin bazılarından daha iyi oldu˘gunu gördük.

Özet

Recently, deep learning methods have demonstrated state-of-the-art performance in numerous complex Natural Language Processing (NLP) problems. Easy accessibility of high-performance computing resources and open-source libraries makes Artificial Intelligence (AI) approaches more applicable for researchers. This sudden growth of available techniques shaped and improved standards in the field of NLP. Thus, we find an opportunity to compare different approaches to document representation, owing to various open-source libraries and a large amount of research. We evaluate four different paradigms to represent documents: Traditional bag-of-words approaches, topic modeling, embedding based approach and deep learning. As the main contribution of this article, we aim at evaluating all these representation approaches with suitable machine learning algorithms for document categorization problem in the Turkish language. The supervised architecture uses a benchmark dataset specifically prepared for this language. Within the architecture, we evaluate the representation approaches with corresponding machine learning algorithms such as Support Vector Machine (SVM), multi-nominal Naive Bayes Algorithm (m-NB) and so forth. We conduct a variety of experiments and present successful results for the Turkish document categorization. We also observed that tradition approaches have still comparable results with Neural Network models in terms of document classification.