Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightAmpirik bulgular, hiperparametrelerin tekil etkilerinden ziyade kombinatoryal etkileşimlerinin model başarımı üzerinde domine edici olduğunu göstermiştir.
📌 3 Maddede Bu Makale
Özet
Derin öğrenme modellerinin başarısı; ağırlık ilklendirme yöntemleri, optimizasyon algoritmaları ve öğrenme oranı zamanlayıcıları gibi temel hiperparametrelerin doğru seçilmesine doğrudan bağlıdır. Bu çalışmada, düzenlileştirici katmanlardan (Batch Normalization, Dropout vb.) arındırılmış izole ve hafif/sığ bir Evrişimli Sinir Ağı (CNN) mimarisi üzerinde, kanonik CIFAR-10 veri kümesi kullanılarak 240 bağımsız eğitim koşusundan oluşan kapsamlı bir ızgara araması yürütülmüştür. Ampirik bulgular, hiperparametrelerin tekil etkilerinden ziyade kombinatoryal etkileşimlerinin model başarımı üzerinde domine edici olduğunu göstermiştir. Deneysel sonuçlara göre; Xavier Normal ilklendirme, AdamW optimizörü ve CosineAnnealingLR zamanlayıcı kombinasyonu %73,84 ile en yüksek test doğruluğunu sergilemiştir. Çalışmanın öne çıkan bulgusu olan, OneCycleLR lokal parametrik uyumsuzluğu uyarınca; literatürde yakınsamayı hızlandırdığı için sıklıkla önerilen OneCycleLR zamanlayıcısının RMSprop optimizörü ile eşleştiğinde modelin ağırlık güncelleme sürecini durdurduğunu (%10,00 rastgele tahmin düzeyi), buna karşın Pure_SGD ve SGD_Momentum varyantlarını alt-optimal platolardan kurtararak başarımlarını %68,97' ye çıkardığı keşfedilmiştir. Gözlemlenen bu karmaşık parametrik etkileşimler 3-Yönlü ANOVA testi ve detaylı profil matrisleri ile istatistiksel olarak doğrulanmış (p < 0,001) ve sığ mimarilerle çalışan araştırmacılar için ampirik bir seçim kılavuzu sunulmuştur.
Abstract
The success of deep learning models depends directly on the selection of core hyperparameters, including weight initialization methods, optimization algorithms, and learning rate schedulers. In this study, a comprehensive grid search consisting of 240 independent training runs was conducted on the canonical CIFAR-10 dataset using an isolated, shallow Convolutional Neural Network (CNN) architecture stripped of regularizer layers (Batch Normalization, Dropout, etc.). Empirical findings demonstrate that the combinatorial interactions of hyperparameters, rather than their individual effects, dominate model performance. According to the experimental results, the combination of Xavier Normal initialization, AdamW optimizer, and CosineAnnealingLR scheduler exhibited the highest test accuracy at 73.84%. As the prominent finding of this study, termed the 'OneCycleLR local parametric mismatch', it was discovered that the OneCycleLR scheduler, which is frequently recommended in the literature to accelerate convergence, stalls the weight update process of the model when paired with the RMSprop optimizer (dropping to a 10.00% random guess level); conversely, it rescues Pure_SGD and SGD_Momentum variants from sub-optimal plateaus, boosting their performance to 68.97%. These complex parametric interactions were rigorously verified using a 3-Way ANOVA test and extensive interaction profiles (p < 0,001), providing a definitive empirical guideline for lightweight architectures.