Doğrusal ayrıştırılmaz sınıflama problemleri için yeni bir yapay sinir ağı modeli

Özet

Parça Parça Sabit (PPS) ve Parça Parça Doğrusal (PPD) sistem modelleri, çoğunlukla bu türde yapılar olduğu açıkça belirtilmese de Yapay Sinir Ağları (YSA) alanında sıklıkla kullanılmaktadır. Bilimsel yazında oldukça iyi bilinen bir çok model PPS veya PPD işlevler gerçeklerler. Diğer yandan, bazı karmaşık modeller, PPS/PPD yaklaşıklıkları oluşturularak basitleştirilebilir. PPS ve PPD modeller basitlik, hızlılık ve verilen herhangi bir fonksiyona istenen duyarlılıkla yaklaşabilme özelliklerine sahip olmakla, YSA literatüründe ayrı bir yere sahiptir. Bu çalışmada, yeni bir PPD YSA yapısı olarak ‘girişe bağlı eşikli ayrık algılayıcı’ önerilmektedir. Klasik ayrık algılayıcının doğrusal olarak ayrıştırılamaz kümeleri sınıflandıramadığı gayet iyi bilinmektedir. Bu sorunun aşılması için, algılayıcının eşik değeri, girişin PPS bir fonksiyonu olarak değişecek şekilde yeniden düzenlenmiştir. Önerilen model böylece PPD bir ayrım yüzeyi oluşturur ve doğrusal ayrıştırılamayan problemlerin bir alt kümesi için çözüm üretebilmektedir. Önerilen modelin etkinliği, tüm bağlantı ağırlıklarının algılayıcı öğrenme kuralı kullanılarak öğrenilebiliyor olmasına dayanmaktadır. Modelin eğitimi için algılayıcı öğrenme kuralının üç aşamalı uygulanmasından oluşan bir algoritma önerilmiştir. Bu algoritmanın işleyişiyle problem kümesinin doğrusal ayrıştırılabilir olup olmadığı, doğrusal ayrıştırılamaz giriş vektörlerinin hangileri olduğu ve doğrusal ayrıştırılamaz vektörlerin kümenin diğer elemanlarından doğrusal ayrıştırılabilir olup olmadığı test edilmektedir ve yöntemin son adımında belirli şartların sağlanması halinde ağın tüm ağırlıkları belirlenmiş olur. Modelin ve yöntemin etkinliği, doğrusal ayrıştırılamayan bir sınıflandırma problemi olan siyah beyaz görüntüler üzerinde kenar belirleme problemi üzerinde gösterilmiştir.

Abstract

Piecewise Constant (PWC) and Piecewise Linear (PWL) models are commonly used in a diverse field including circuit theory (Chua etal. 1987, Güzeliş and Göknar 1991, Lin and Unbehauen 1995, Julian etal. 1998). Altough it is not declared that they are such models, PWC and PWL models are common also in the field of Artificial Neural Networks (ANN or simply Neural Networks – NN henceforth). At a first glance, discrete Multilayer Perceptron (MLP), Cellular Neural Networks (CNNs), Discrete Hopfield Network (D-HN), Discrete Time CNNs (DTCNNs), Brain State in a Box (BSB) are examples for PWC or PWL artificial neural network models. Due to their generality, namely their capability of representing all known complex functions, despite their simplicity, PWL models can be used not only for synthesis and analysis purposes but also to simplify some complex models. Despite the fact that PWL and PWC structures are simple and able to approximate to any function, there is not enough emphasis on these subjects on the NN literature. One of the most important works in PWL literature is by Lin and Unbehauen (1995). Lin and Unbehauen (1995) presents some modifications and applications of classical canonical PWL functions to supply mathematical background for mapping networks. It also studies the canonical PWL feature of the popular Multilayer Perceptron- Like networks. It is shown that generalized canonical PWL representation is suitable for neural network applications. In this work, as a new PWL NN model, a special discrete perceptron whose threshold is a function of input variables is considered (Genç and Güzeliş 1998b). It is well known that discrete perceptron cannot classify linearly nonseparable sets. To overcome this problem, perceptron can be modified as its threshold depends on its input, and threshold value is a PWC function of input as given below = (wT ⋅ x +θ ) y sgn 1 ( ) 2 T2 θ =θ1 +θ 3 ⋅ stp w ⋅ x +θ where stp(⋅) is the unit step function, ∈ℜ ∀i ∈{1,2,3} i θ and ∈ ℜp 1 2 w ,w are the weight vectors Thus, the proposed model realizes a PWL separating hyperplane and it can be used to classify some kind of linearly nonseparable sets. What is more important is that all connection weights can be learned using a three stage application of the perceptron learning rule. Proposed learning algorithm defined here can be applied to the linearly nonseparable set X if the complement of the largest linearly separable subset S X , NS S X = X/ X contains elements from only eitherX+ or − X and this linearly separable with S X . By explaining verbally, linearly nonseparable vectors are all from the same class and these are linearly separable from the rest of the set. The 3- stage algorithm does, in fact, test of the input set for linear separability, define nonseparable vectors and test the linear separability of nonseparable vectors from other vectors of the set. Meanwhile, it finds the resulting weight vectors and thresholds if the cases are admissible with the prerequisites of the method. Justification of the design method is demonstrated by computer simulations done on a specific example, namely the edge detection, since binary edge detection can be considered as a pixel classification problem where for each pixel, it can be decided whether it is an edge pixel or not, by investigating the pixel's and its neighboring pixels' values. The definition of the ideal edge class stated as “The Pixel belongs to edge class if it is black and at least one of its east, west, south and north neighbors is white but not all of its 8 neighbors are white”. With this definition, a classification problem set is obtained containing 512 binary 9-dimensional vectors and corresponding desired outputs for a 3×3 neighborhood. In the example work, after posing the binary edge detection task as such a linearly nonseparable but piecewise-linearly separable threshold function, the modified perceptron is trained to learn this task. Then the performance of this perceptron on the edge detection of some binary images is examined.