A Comparison of the State-of-the-Art Deep Learning Platforms: An Experimental Study

En Gelişkin Derin Öğrenme Platformlarının Bir Karşılaştırması: Deneysel Bir Çalışma

Özet

Deep learning, a subfield of machine learning, has proved its efficacy on a wide range of applications including but not limited to computer vision, text analysis and natural language processing, algorithm enhancement, computational biology, physical sciences, and medical diagnostics by producing results superior to the state-ofthe-art approaches. When it comes to the implementation of deep neural networks, there exist various state-of-theart platforms. Starting from this point of view, a qualitative and quantitative comparison of the state-of-the-art deep learning platforms is proposed in this study in order to shed light on which platform should be utilized for the implementations of deep neural networks. Two state-of-the-art deep learning platforms, namely, (𝑖𝑖) Keras, and (𝑖𝑖𝑖𝑖) PyTorch were included in the comparison within this study. The deep learning platforms were quantitatively examined through the models based on three most popular deep neural networks, namely, (𝑖𝑖) Feedforward Neural Network (FNN), (𝑖𝑖𝑖𝑖) Convolutional Neural Network (CNN), and (𝑖𝑖𝑖𝑖𝑖𝑖) Recurrent Neural Network (RNN). The models were evaluated on three evaluation metrics, namely, (𝑖𝑖) training time, (𝑖𝑖𝑖𝑖) testing time, and (𝑖𝑖𝑖𝑖𝑖𝑖) prediction accuracy. According to the experimental results, while Keras provided the best performance for both FNNs and CNNs, PyTorch provided the best performance for RNNs expect for one evaluation metric, which was the testing time. This experimental study should help deep learning engineers and researchers to choose the most suitable platform for the implementations of their deep neural networks.

Abstract

Makine öğrenmesinin bir alt alanı olan derin öğrenme, bilgisayarlı görü, metin analizi ve doğal dil işleme, algoritma iyileştirme, hesaplamalı biyoloji, fen bilimleri ve hastalık teşhisi alanlarıyla sınırlı olmamak kaydıyla çok çeşitli uygulamalar üzerindeki etkinliğini en gelişkin yaklaşımlardan daha başarılı sonuçlar üreterek kanıtlamıştır. Derin sinir ağlarının gerçekleştiriminde çeşitli en gelişkin platformlar mevcuttur. Bu noktadan hareketle, derin sinir ağların gerçekleştiriminde hangi platformun kullanılması gerektiğine ışık tutmak amacıyla en gelişkin derin öğrenme platformlarının nitel ve nicel bir karşılaştırması bu çalışmada öne sürülmüştür. Bu çalışma kapsamındaki karşılaştırmaya iki en gelişkin derin öğrenme platformu, isim olarak, (𝑖𝑖) Keras ve (𝑖𝑖𝑖𝑖) PyTorch dahil edilmiştir. Derin öğrenme platformları en popüler üç derin sinir ağı olan (𝑖𝑖) İleri Beslemeli Sinir Ağı (FNN), (𝑖𝑖𝑖𝑖) Evrişimli Sinir Ağı (CNN) ve (𝑖𝑖𝑖𝑖𝑖𝑖) Tekrarlayan Sinir Ağı (RNN) temelli modeller üzerinden incelenmiştir. Modeller, (𝑖𝑖) eğitim süresi, (𝑖𝑖𝑖𝑖) test süresi ve (𝑖𝑖𝑖𝑖𝑖𝑖) tahmin doğruluğu olmak üzere üç değerlendirme kriteri kullanılarak değerlendirilmiştir. Elde edilen deneysel sonuçlara göre hem FNN hem de CNN’ler için en iyi performansı Keras sağlarken, RNN’ler için bir değerlendirme kriteri (test süresi) dışında en iyi performansı PyTorch sağlamıştır. Bu deneysel çalışma, derin öğrenme mühendisleri ve araştırmacılarının kendi derin öğrenme ağlarının gerçekleştiriminde en uygun platformun seçimi noktasında yardım etmesi gerekmektedir.