Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightBulgular: İki sıra da oyuncak sonlu-örneklem referanslarına yakın kaldı.
📌 3 Maddede Bu Makale
Özet
Arka Plan/Amaç: Klasik eğilmiş ampirik risk minimizasyonu (TERM), eğitim gözlemlerinin tümü üzerinden hesaplanan bir normalleştiriciyle kayba bağlı ağırlıklar atar. Tek gözlem üzerinde doğrudan değerlendirme bu göreli ağırlıklandırmayı ortadan kaldırır. Katı, tek-güncel-örnekli ve durum tutan bir yaklaşımın sonlu örneklem TERM’ini ne ölçüde izlediğini; sonlu-adım davranışının payda sırasına, normalleştirici hızına ve eğime nasıl bağlı olduğunu inceliyoruz. Yöntemler: Skaler üstel hareketli-ortalama normalleştirici, stokastik güncellemeler arasında örnekler-arası bilgiyi taşır. Önceki-durum paydasını, tam-yığın referanslar, yedi normalleştirici hızı ve 20 ortak örnek akışıyla doğrusal-regresyon oyuncak probleminde eşleştirilmiş güncel-örnek-öncelikli sırayla karşılaştırdık. Ölçek-kalibreli negatif, sıfır ve pozitif eğimler daha sonra dört Breast Cancer Wisconsin Diagnostic (WDBC) etiket-gürültüsü ve yedi Abalone yanıt-kirlenmesi koşulunda Polyak–Ruppert ortalamalı stokastik gradyan inişi (SGD) ile değerlendirildi. Bulgular: İki sıra da oyuncak sonlu-örneklem referanslarına yakın kaldı. Sıfır eğimde tam olarak özdeşti; sıfır-dışı eğimde yerel düşük-hız farkı yaklaşık olarak öğrenme ve normalleştirici hızlarının çarpımıyla orantılıydı ve yönü eğime göre değişti. Hiçbir sıra her durumda üstün değildi. Negatif eğim, belirtilen kirlenmiş koşullarda ampirik risk minimizasyonunu (ERM) iyileştirdi. Göreve özgü temsili yöntemler en yüksek kirlenme koşullarında daha güçlüydü; sonlu-örneklem TERM izleme bulguları ise değişmedi. Sonuç: Kalıcı tek bir skaler, eğime bağlı tek-örnekli güncellemeleri koruyabilir ve incelenen sonlu boyutlu ortamlarda klasik TERM’i yakından izleyebilir. Kanıtlar ampirik ve sonlu ufukludur.
Abstract
Background/Aim: Classical tilted empirical risk minimization (TERM) assigns loss-dependent weights through a global normalizer. Direct evaluation on one observation removes relative weighting. We ask how closely a strict one-current-sample approximation tracks finite-sample TERM and how its finite-step behavior depends on denominator order, normalizer rate, and tilt. Methods: A scalar moving-average normalizer carries cross-sample information between updates. We compared a previous-state denominator with a matched current-sample-first order on a toy problem using full-batch oracles, seven normalizer rates, and 20 shared streams. Scale-calibrated tilts were then evaluated with Polyak–Ruppert-averaged stochastic gradient descent (SGD) under four Breast Cancer Wisconsin Diagnostic (WDBC) label-noise conditions and seven Abalone response-contamination conditions. Results: Both orders remained close to the toy finite-sample references. They were exactly identical at zero tilt; at nonzero tilt, their local low-rate discrepancy was approximately proportional to the product of learning and normalizer rates and changed direction with tilt. No order was uniformly superior. Negative tilt improved on empirical risk minimization (ERM) in specified corrupted conditions. Representative task-specific baselines were stronger in the most corrupted conditions, while the finite-sample TERM tracking findings were unchanged. Conclusion: One persistent scalar can preserve tilt-dependent one-sample updates and closely track classical TERM in the tested finite-dimensional settings. The evidence is empirical and finite-horizon.