AI Summary & Key Takeaways
AI InsightThe results demonstrate that while the methods perform comparably at low censoring levels, the proposed method based on artificial neural networks attains the lowest error and the smallest bias as the censoring rate increases, significantly outperforming the k-nearest neighbors and random forest benchmarks and improving on the Gaussian Imputation technique overall.
📌 3 Key Takeaways
Abstract
Modelling time series data subject to irregularities, particularly right-censoring due to detection limits, poses significant statistical challenges. Traditional approaches often yield biased estimates or rely on strict distributional assumptions that rarely hold in real-world applications. In this study, a distribution-free imputation method based on Artificial Neural Networks is proposed to handle auto-correlated right-censored data and is compared with the established Gaussian Imputation technique, as well as k-nearest neighbors and random forest imputation. A comprehensive simulation study was conducted to evaluate the performance of all four methods under varying censoring levels (5%, 25%, and 50%) and two sample sizes, using root mean squared error, mean absolute error, and bias as performance metrics. The results demonstrate that while the methods perform comparably at low censoring levels, the proposed method based on artificial neural networks attains the lowest error and the smallest bias as the censoring rate increases, significantly outperforming the k-nearest neighbors and random forest benchmarks and improving on the Gaussian Imputation technique overall. These findings are confirmed by a pairwise Wilcoxon signed-rank test and by a real-data application to a heavily censored cloud-ceiling time series, in which the proposed method again achieves the best accuracy. By learning the underlying non-linear patterns directly from the data without manipulating the observed components, the proposed approach offers a robust and accurate alternative for completing right-censored time series datasets.
Özet
Özellikle tespit limitleri (sınırları) nedeniyle sağdan sansürlemeye maruz kalan zaman serisi verilerinin modellenmesi, önemli istatistiksel zorluklar doğurmaktadır. Geleneksel yaklaşımlar genellikle yanlı tahminler üretmekte veya gerçek dünya uygulamalarında nadiren geçerli olan güçlü dağılım varsayımlarına dayanmaktadır. Bu çalışmada, otokorelasyonlu sağdan sansürlü verileri ele almak amacıyla yapay sinir ağlarına dayalı, dağılımdan bağımsız bir atama yöntemi önerilmiş ve bu yöntem bilinen Gauss atama tekniği ile k-en yakın komşu ve rastgele orman atama yöntemleri ile karşılaştırılmıştır. Yöntemlerin performansını, performans metrikleri olarak kök ortalama kare hatası, ortalama mutlak hata ve yanlılık kullanarak değişen sansür seviyeleri (%5, %25 ve %50) ve iki örneklem boyutu altında değerlendirmek üzere kapsamlı bir simülasyon çalışması yürütülmüştür. Sonuçlar, yöntemlerin düşük sansür seviyelerinde benzer performans sergilemesine rağmen, sansür oranı arttıkça Yapay Sinir Ağlarına dayalı önerilen yöntemin en düşük hatayı ve sıfıra en yakın yanlılığı elde ettiğini; k-en yakın komşu ve rastgele orman kıyaslama yöntemlerinden anlamlı ölçüde, Gauss Atama yönteminden ise genel olarak daha iyi performans gösterdiğini ortaya koymaktadır. Bu bulgular, ikili Wilcoxon işaretli sıra testi ile ve yüksek oranda sansürlü bir gerçek veri (bulut tabanı zaman serisi) uygulamasıyla da doğrulanmıştır; gerçek veride de önerilen yöntem en iyi doğruluğu sağlamıştır. Gözlemlenen bileşenleri manipüle etmeden verideki altta yatan doğrusal olmayan desenleri doğrudan öğrenen önerilen yaklaşım, sağdan sansürlü zaman serisi veri setlerini tamamlamak için sağlam ve doğru bir alternatif sunmaktadır .