Dergiler / Avrupa Bilim ve Teknoloji Dergisi / 2022 / Sayı: 35
Artık Bağlı Kapılı Tekrarlayan Birimlerle Sıradan Sıraya Video Altyazılama
- Sayı
- 2022 · Sayı: 35
- Sayfa
- 380–386
- DOI
- —
Özet
Tekrarlayan sinir ağları, son zamanlarda bilgisayarla görme ve görüntü ve video altyazısı gibi dil modelleme görevlerinde kullanışlı bir araç olarak ortaya çıkmıştır. Bu ağların ana sınırlaması, ağ derinleştikçe gradyan akışını korumaktır. Bu sınırlamanın üstesinden gelmek ve bilgileri ek özelliklerle katmanlar arasında aşağıdan yukarıya taşıyarak gradyan akışını sürdürmek için artık bağlantıları kullanan bir video altyazı yaklaşımı öneriyoruz. MSVD veri seti üzerindeki deneysel değerlendirmeler, önerilen yaklaşımın en son teknoloji sonuçlarla karşılaştırıldığında doğru altyazı oluşturmayı başardığını göstermektedir. Ek olarak, önerilen yaklaşım, internet bağlantısı olmadan altyazı oluşturabilen özel olarak tasarlanmış Android uygulamamız WeCapV2 ile entegre edilmiştir.
Abstract
Recurrent neural networks have recently emerged as a useful tool in computer vision and language modeling tasks such as image and video captioning. The main limitation of these networks is preserving the gradient flow as the network gets deeper. We propose a video captioning approach that utilizes residual connections to overcome this limitation and maintain the gradient flow by carrying the information through layers from bottom to top with additive features. The experimental evaluations on the MSVD dataset indicate that the proposed approach achieves accurate caption generation compared to the state-of-the-art results. In addition, the proposed approach is integrated with our custom-designed Android application, WeCapV2, capable of generating captions without an internet connection.