AI Summary & Key Takeaways
AI InsightIt is concluded that the proposed new loss function improved the model training losses.
📌 3 Key Takeaways
Abstract
This study proposes a new learning algorithm, the "Hybrid Layer Collaboration-based Forward-Forward Network (HiLaCob-FF)," which is based on the forward-forward algorithm. The HiLaCob-FF algorithm employs a new loss function, a global loss rather than a local loss, and hyperparameter optimization. It applied to MNIST, Fashion MNIST, and CIFAR-10 datasets, demonstrating its generalization ability in recognizing patterns and making inferences. This study underscores the importance of alternative approaches in deep learning. It is concluded that the proposed new loss function improved the model training losses. As a result, with the latest loss function applied to the MNIST dataset, the model's training loss decreased by 1.42% to 0.87%. Similarly, the error rate reduced from 40.91% to 40.36% on the CIFAR-10 dataset. Our proposed HiLaCob-FF model achieves 92.32% success on the MINIST dataset, 78.29% on the FashionMINIST dataset, and 74.20% on the CIFAR-10 dataset. Although these performances are not as high as those of backpropagation-based models, the results are essential for developing forward-forward networks
Özet
Bu çalışma, ileri-ileri algoritmasına dayanan "Hibrit Katman İş Birliği Tabanlı İleri-İleri Ağ (HiLaCob-FF)" adlı yeni bir öğrenme algoritması önermektedir. HiLaCob-FF algoritması, yerel bir kayıp yerine küresel bir kayıp ve hiperparametre optimizasyonu gibi yeni bir kayıp fonksiyonu kullanmaktadır. MNIST, Fashion MNIST ve CIFAR-10 veri kümelerine uygulanarak, örüntüleri tanıma ve çıkarımlar yapma konusundaki genelleme yeteneği kanıtlanmıştır. Bu çalışma, derin öğrenmede alternatif yaklaşımların önemini vurgulamaktadır. Önerilen yeni kayıp fonksiyonunun model eğitim kayıplarını iyileştirdiği sonucuna varılmıştır. Sonuç olarak, MNIST veri kümesine uygulanan en son kayıp fonksiyonuyla modelin eğitim kaybı %1,42 oranında azalarak %0,87'ye düşmüştür. Benzer şekilde, hata oranı CIFAR-10 veri kümesinde %40,91'den %40,36'ya düşmüştür. Önerdiğimiz HiLaCob-FF modeli, MINIST veri setinde %92,32, FashionMINIST veri setinde %78,29 ve CIFAR-10 veri setinde %74,20 başarı oranına ulaşmıştır. Bu performanslar, geri yayılım tabanlı modellerdeki kadar yüksek olmasa da, sonuçlar ileri-ileri ağlar geliştirmek için önemlidir.