AI Summary & Key Takeaways
AI InsightAlthough numerical results indicate that both models achieve an overall accuracy of over 99.8%, pixel-based confusion matrices and micro-spatial error analyses prove that Segformer variants produce discontinuities in track lines and high rates of false positive (FP) noise due to their patch-based structure.
📌 3 Key Takeaways
Abstract
The safe navigation of autonomous railway systems relies on the continuous and pixel-level accurate detection of railway tracks. However, railway datasets inherently exhibit extreme class imbalance, where track pixels occupy a minuscule fraction of the area compared to the background (~170:1). This phenomenon leads to the "Accuracy Paradox," causing traditional metrics to misinterpret actual model performance. In this study, the convolutional neural network-based U-Net (ResNet-34) and the vision transformer-based Segformer (B0-B5) architectures are comparatively analyzed in terms of their capability to tackle this challenging task. Although numerical results indicate that both models achieve an overall accuracy of over 99.8%, pixel-based confusion matrices and micro-spatial error analyses prove that Segformer variants produce discontinuities in track lines and high rates of false positive (FP) noise due to their patch-based structure. In contrast, U-Net (R34), with its 24.4 million parameters, exhibited a statistically similar performance (p > 0.05) to Segformer-B5, which is 3.5 times larger. Furthermore, U-Net preserved track integrity much more successfully owing to its strong spatial inductive bias. As a result of the experiments, the U-Net model outperformed the computationally much heavier Segformer models with scores of 36.70 mIoU and 40.72 HD95. The Wilcoxon Signed-Rank Test results confirm that the superiority of U-Net over lower-scale ViT models is statistically significant. Consequently, this study demonstrates that in the segmentation of thin and linear structures, architectural designs preserving spatial continuity are of critical importance rather than mere model depth, and a massive increase in parameters does not necessarily yield a performance boost in this task, highlighting the issue of "parameter redundancy.
Özet
Otonom demiryolu sistemlerinin güvenli navigasyonu, ray hattının piksel hassasiyetinde ve kesintisiz olarak tespit edilmesine dayanmaktadır. Ancak demiryolu veri setleri, ray piksellerinin arka plana oranla çok küçük bir alanı kapladığı (~170:1) aşırı sınıf dengesizliği içermekte, bu da geleneksel metriklerin performansı hatalı değerlendirmesine yol açan "Doğruluk Paradoksu"nu ortaya çıkarmaktadır. Bu çalışmada, evrişimli sinir ağı tabanlı U-Net (ResNet-34) ile görsel dönüştürücü tabanlı Segformer (B0-B5) mimarileri, bu zorlu görevin üstesinden gelme yetenekleri bakımından karşılaştırmalı olarak analiz edilmiştir. Sayısal sonuçlar, her iki modelin de %99,8’in üzerinde doğruluk elde ettiğini gösterse de piksel bazlı karmaşıklık matrisleri ve mikro-uzamsal hata analizleri, Segformer varyantlarının yama tabanlı yapısı nedeniyle ray hatlarında kopukluklar ve yüksek oranda yanlış pozitif (FP) gürültüsü ürettiğini kanıtlamıştır. Buna karşın U-Net (R34), 24,4 milyon parametre ile kendisinden 3,5 kat daha büyük olan Segformer-B5 ile istatistiksel olarak benzer (p>0,05) bir performans sergilemiş; uzamsal tümevarımsal yanlılığı sayesinde hat bütünlüğünü çok daha başarılı korumuştur. Deneyler sonucunda U-Net modeli 36,70 mIoU ve 40,72 HD95 skorlarıyla, donanımsal olarak çok daha ağır olan Segformer modellerini geride bırakmıştır. Wilcoxon İşaretli Sıralar Testi sonuçları, U-Net'in düşük ölçekli ViT modellerine karşı üstünlüğünün istatistiksel olarak anlamlı olduğunu doğrulamaktadır. Çalışma sonucunda, ince-uzun yapıların segmentasyonunda model derinliğinden ziyade uzamsal sürekliliği koruyan mimari yapıların kritik öneme sahip olduğu ve parametre artışının bu görevde her zaman performans artışı sağlamadığı gösterilmiştir.