Parçacık Sürüsü Eniyilemesine Dayalı Yığılmış Genelleme Yöntemi ve Metin Sınıflandırma Üzerinde Uygulanması

Particle Swarm Optimization Based Stacking Method with an Application to Text Classification

Özet

Topluluk öğrenmesi, birden fazla öğrenme algoritmasının çıktılarının birleştirilmesi ile daha yüksek başarımlı ve güvenilir sınıflandırma modelleri oluşturulmasını amaçlar. Topluluk öğrenmesi yöntemleri, aralarında metin madenciliğinin de yer aldığı birçok alanda başarı ile uygulanmaktadır. Yığılmış genelleme algoritması, heterojen sınıflandırma algoritmaları ile sınıflandırıcı topluluğu oluşturulmasına yönelik bir yöntemdir. Yığılmış genelleme algoritmasında, temel öğrenme algoritmalarının çıktıları, üst seviyeli bir öğrenme algoritması aracılığıyla birleştirilir. Yığılmış genelleme algoritmasının etkin bir biçimde işleyebilmesi için, temel öğrenme algoritması olarak görev alacak yöntemlerin seçilmesi gerekmektedir. Bunun yanı sıra, üst seviye öğrenme algoritması olarak hangi yöntemin kullanılacağının belirlenmesi gereklidir. Bu nedenle, yığılmış genelleme algoritması için uygun bir konfigürasyon belirlenmesi, zor bir problemdir. Bu çalışmada, yığılmış genelleme algoritması için uygun bir konfigürasyon belirlenmesi işlemi bir eniyileme problemi olarak ele alınmış ve parçacık sürüsü eniyilemesine dayalı bir yöntem önerisinde bulunulmuştur. Metin sınıflandırma alanında gerçekleştirilen deneysel analizlerde, parçacık sürüsü eniyilemesine dayalı yöntem, genetik algoritma, karınca kolonisi eniyilemesi ve yapay arı kolonisine dayalı yığılmış genelleme yöntemleri ile karşılaştırılmıştır.

Abstract

Multiple classifier aims to integrate the predictions of several learners so that classification models can be constructed with high performance of classification. Multiple classifiers can be employed in several application fields, including text categorization. Stacking is an ensemble algorithm to construct ensembles with heterogeneous classifiers. In Stacking, the predictions of base-level classifiers are integrated by a meta-learner. To configure Stacking, appropriate set of learning algorithms should be selected as base-level classifiers. Besides, the learning algorithm that will perform the meta-learning task should be identified. Hence, the identification of an appropriate configuration for Stacking can be a challenging problem. In this paper, we introduce an efficient method for stacking ensemble based text categorization which utilizes particle swarm optimization to upgrade arrangement of the ensemble. In the empirical analysis on text categorization domain, particle swarm optimization based Stacking method has been compared to genetic algorithm, ant colony optimization and artificial bee colony algorithm