AI Summary & Key Takeaways
AI InsightIt is observed that the LELVM, which is a special method developed for Laplacian Eigenmaps, provided the highest performance in general.
📌 3 Key Takeaways
Abstract
Feature extraction methods deal with transformation of high dimensional datasets to lower dimensional space. Because datasets coming from the real-world form a nonlinear distribution, mapping with linear methods does not reflect the current distribution of the dataset in the original space. Therefore, the number of studies particularly related to nonlinear feature extraction methods has been recently increased. Manifold learning methods, which are very hot topic in the dimensionality reduction, map the high dimensional dataset to a low dimensional space by preserving the original distribution of the data in the high dimensional space. However, the most manifold learning methods only transform the training datasets and are unable to map the test dataset since they do not provide a projection matrix or an explicit function representing the nonlinear mapping. Due to this, an effective usage of manifold learning in classification is limited. To overcome this issue, there have been many methods developed in the literature, so called out-of-sample (OOS) extensions. The aim of this study is to provide an extensive review on the problems encountered in using manifold learning for classification purposes and to present the solutions for the out-of-sample problem. Moreover, an implementation was carried out with Laplacian Eigenmaps for classification of well-known benchmark hyperspectral datasets. To solve the out-ofsample problem, Nyström, LELVM, LPP, and neighborhood based out-of-sample methods were used in the experiments, and the results were evaluated in terms of classification performance and the computational time. It is observed that the LELVM, which is a special method developed for Laplacian Eigenmaps, provided the highest performance in general.
Özet
Öznitelik çıkarma yöntemleri, yüksek boyutlu verilerin daha az boyutlu bir alt uzaya dönüşümünü konu almaktadır. Gerçek dünyaya ait fiziksel verilerin doğrusal olmayan bir yapıya sahip olmasından ötürü, doğrusal öznitelik çıkarma yöntemleri ile dönüştürülmüş verilerin alt uzaydaki görünümleri bozulabilmektedir. Bu nedenle, doğrusal olmayan öznitelik çıkarma yöntemleri üzerinde yapılan araştırmaların sayıları son zamanlarda artmıştır. Bu alanda önemli bir araştırma konusu olan manifold öğrenme yöntemleri, yüksek boyutlu verinin orijinal yapısını koruyarak doğrusal olmayan bir dönüşüm yapmaktadır. Ancak, birçok manifold öğrenme yöntemi sadece eğitim verilerini dönüştürebilmektedir. Dönüşüme ait herhangi bir matris ya da bir fonksiyon üretmediklerinden, test verisi şeklinde sonradan gelebilecek verilerin dönüşümünü yapamamaktadırlar. Bu durum, manifold öğrenme yöntemlerinin sınıflandırma amaçlı çalışmalardaki etkin kullanımını sınırlamaktadır. Literatürde, manifold öğrenmesi için seçilmemiş veri örnekleri sorunu (out-of-sample-OOS) olarak adlandırılan bu sorunun üstesinden gelmek için çok sayıda yöntem önerilmiştir. Bu çalışmanın amacı, manifold öğrenme yöntemlerinin sınıflandırma amaçlı kullanımında karşılaşılan zorluklarını ve çözüm yöntemlerini kapsamlı bir şekilde ele almaktır. Uygulama olarak, Laplacian Eigenmap yöntemi ile literatürde doğrulama verisi olarak kullanılan örnek hiperspektral veriler üzerinde bir sınıflandırma çalışması yapılmıştır. OOS probleminin çözümü için Nyström, LELVM, LPP ve komşuluk esaslı OOS yöntemleri kullanılmış ve sonuçlar hem sınıflandırma performansları hem de hesaplama zamanları açısından karşılaştırılmıştır. Elde edilen sonuçlara göre, Laplacian Eigenmaps yöntemi için özel olarak geliştirilen LELVM yönteminin genel olarak en yüksek performansı verdiği gözlemlenmiştir.