A New Genre Classification with the Colors of Music

Özet

The aim of this study is to bring a new perspective for the classification of the songs, revealing of the colors of music. The first effort is to transform songs into images. The colorful images have been attained with Short time Fourier transform, discrete cosine transform and time to spatial transformation and some extra processing. It has been observed that the images of different music genres obtained with the same method have different colors. But some of them have similar colors and patterns, which making difficult to classify. Pre-trained deep convolutional network have been trained with these images. For five Turkish musical genres, nearly up to 60% classification accuracy has been achieved and for ten musical genre of a benchmark musical dataset nearly up to 54% classification accuracy has been achieved. In future studies, it has been planned to create the images using timbral texture and rhythmic contents, for increasing the accuracy.

Abstract

Bu çalışmada günümüzde görüntülerin sınıflandırılmasında yüksek başarı sağlayan derin öğrenme ağları ile müzik türlerinin sınıflandırılması hedeflenmiştir. Bu çalışmanın amacı, müziklerin renklerini ortaya çıkararak şarkıların sınıflandırılması için yeni bir bakış açısı getirmektir. Bu amaçla ilk olarak, müzik türlerinden seçilen parçalar görüntülere dönüştürülmüştür. Renkli görüntüler kısa zaman fourier dönüşümü, ayrık kosinüs dönüşümü ve uzamsal dönüşüm yöntemleri ve bazı önişlemlerle elde edilmiştir. Farklı türlere ait görüntülerin renklerinin farklı olduğu görülmüştür. Ancak bazı türlerde sınıflandırmayı zorlaştıracak benzer renkler ve desenler görülmüştür. Önceden eğitilmiş derin konvolüsyon ağı bu görüntülerle eğitilmiştir. Türkçe müziklerden seçilen, arabesk, pop, türk halk müziği, türk sanat müziği ve rock müzikleri ile eğitilen ağda, yaklaşık % 60'a kadar bir sınıflandırma doğruluğu elde edilmiş ve yine literatürde müzik türü sınıflandırılmasında kullanılan genel bir veri tabanı ile yapılan testlerde, on farklı müzik türü için yaklaşık% 54’e kadar bir sınıflandırma doğruluğu elde edilmiştir.