AI Summary & Key Takeaways
AI InsightThe creation of such a web-based application with the support of machine learning has made the authorship identification study more meaningful and usable.
📌 3 Key Takeaways
Abstract
Abstract: The problem of unidentified texts, which has been going on for centuries, has increased considerably with the beginning of the internet age. The biggest reason for this situation is that very high percentage of data on the internet is composed of unstructured data, and a large part of this unstructured data is composed of unclassified texts with uncertain authors. The use of machine learning methods in classification processes in recent years has brought a new perspective to authorship identification problems. In this study, an end-to-end application with a web-based interface was developed for the authorship identification problem using machine learning methods. First of all, a corpus containing 46715 text data was created from the columns of 37 authors. Features were extracted from this corpus using the TF-IDF method and a dataset was obtained. Then the dataset is trained and tested with Support Vector Machines (SVM), NB (NB) and Random Forest (RF) machine learning algorithms. As a result of the test, SVM was the best performing classifier model with 90% accuracy. A web interface was developed for the obtained SVM model by using Flask, one of the libraries of the Python programming language. Then, the application has been converted into a Docker container to run it in a stable and distribution-friendly state. As a result, an end-to-end authorship identification application has been made to deploy available directly to the end user. The creation of such a web-based application with the support of machine learning has made the authorship identification study more meaningful and usable.
Özet
Yüzyıllardır süregelen yazarı belirsiz metinler sorunu, internet çağının başlamasıyla oldukça artmıştır. Bu durumun en büyük sebebi internetteki verilerin çok yüksek oranını yapısal olmayan verilerin oluşturması ve bu yapısal olmayan verilerin de büyük bir bölümünü sınıflandırılmamış, yazarları belirsiz metinlerin oluşturmasıdır. Son yıllarda yapılan sınıflandırma işlemlerinde makine öğrenmesi yöntemlerinin kullanılması, yazar tanıma problemlerine yeni bir bakış açısı getirmiştir. Bu çalışmada makine öğrenmesi yöntemleri kullanılarak yazar tanıma problemi için web tabanlı arayüze sahip uçtan uca bir uygulama geliştirilmiştir. Sınıflandırma işlemi için 37 yazarın köşe yazılarından oluşturulmuş 46715 metin verisi içeren bir derlem kullanılmıştır. Bu derlemden TF-IDF yöntemi kullanılarak öznitelikler çıkarılmış ve bir veri kümesi elde edilmiştir. Daha sonra veri kümesi, Destek Vektör Makineleri (DVM), NB (NB) ve RO (RO) gibi makine öğrenme algoritmaları ile eğitilmiş ve test edilmiştir. Test sonucunda, DVM %90 doğruluk oranıyla en iyi performansı gösteren sınıflandırıcı model olmuştur. Elde edilen DVM modeline, Python programlama dilinin kütüphanelerinden olan Flask kullanılarak bir web arayüzü geliştirilmiştir. Son olarak uygulama, kararlı ve dağıtıma uygun bir halde çalıştırılması amacıyla Docker konteynerına dönüştürülmüştür. Sonuç olarak, uçtan uca geliştirilen bir yazar tanıma uygulaması doğrudan son kullanıcı tarafından kullanılabilir biçimde sunulmuştur. Makine öğrenmesi desteğiyle web tabanlı böyle bir uygulamanın oluşturulması, yazar tanıma çalışmasını daha anlamlı ve kullanılabilir hale getirmiştir.