Journals / Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi / 2022 / Cilt: 37 - Sayı: 1

Character Recognition Using Convolutional Recurrent Neural Network on Images of Text

Evrişimli tekrarlayan sinir ağı ile metin görüntüleri üzerinde karakter tanıma uygulaması gerçekleştirilmesi

Pages
17–27
Publication Date
2022-10-18
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

This character, which has been successfully detected on text images, is aimed to be used in mobile-based routing application with its success in revealing the appropriate text.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:human behaviors such as artificial intelligence, machine learning and deep learning are preferred to make sense of these data with human power.
📊
Key Findings & Data:The success of deep learning algorithms for extraction and representation of features in text and character-based operations on text images is also demonstrated by studies.
💡
Conclusion & Impact:This character, which has been successfully detected on text images, is aimed to be used in mobile-based routing application with its success in revealing the appropriate text.
🔬Design:Modeling & Simulation
📍Scope:Comprehensive Sample
⚙️Variables:Derin Öğrenme · Evrişimli Sinir Ağı · Karakter Tanıma

Abstract

human behaviors such as artificial intelligence, machine learning and deep learning are preferred to make sense of these data with human power. Deep learning, which is the sub-branch of machine learning, is used in many areas such as face recognition, voice recognition, object recognition, automotive, defense, health, entertainment and marketing sectors and has recently become a solution to many problems. Text recognition studies are also a problem researched in the field of deep learning. Deep learning uses many process steps for feature extraction and transformation. This structure, which is based on learning of its features and their representations, is handled with a hierarchical structure in the learning process. The success of deep learning algorithms for extraction and representation of features in text and character-based operations on text images is also demonstrated by studies. Convolutional Neural Network (CNN), one of the deep learning architectures, is better than a feed forward network in analyzing text images with its features of sharing parameters and dimension reduction. The success of the Recurrent Neural Network (RNN) architecture on time series data shows successful results with the CNN architecture for character detection from text images. Connectionist Temporal Classification (CTC) which a loss function used to train neural networks can create possibilities to tag data without the need for aligned data when input is given. Thus, it ensures correct identification of characters on text images. In this study, the CRNN architecture was created considering the success of CNN's feature detection on the architecture, on the past and future contexts. 90% of the 50.000 image data created using the Synth90k data set were determined as training and 10% as test data set. This character, which has been successfully detected on text images, is aimed to be used in mobile-based routing application with its success in revealing the appropriate text.

Özet

Her alanda dijitalleşmenin sonucunda veri miktarı gün geçtikçe büyük miktarda artmaktadır. Bu verilerin insan gücüyle anlamlandırılması için yapay zeka, makine öğrenmesi ve derin öğrenme gibi insan davranışlarını taklit eden bilgisayar sistemleri tercih edilmektedir. Makine öğrenmesinin alt dalı olan derin öğrenme yüz tanıma, ses tanıma, nesne tanıma, otomotiv, savunma, sağlık, eğlence ve pazarlama sektörleri gibi çok fazla alanda kullanılmaktadır ve son dönemlerde birçok probleme çözüm niteliği taşımaktadır. Metin tanıma çalışmaları da derin öğrenme alanında ele alınan bir problemdir. Derin öğrenme özellik çıkarımı ve dönüşümü için birçok işlem adımı kullanır. Özelliklerin ve temsillerinin öğrenilmesine dayanan bu yapı, öğrenme işleminde hiyerarşik bir yapı ile ele alınır. Metin görüntüleri üzerinde yazı ve karakter tabanlı yapılan işlemlerde de özelliklerin çıkarımı ve temsili için derin öğrenme algoritmaları başarısı yapılan çalışmalar ile ortaya konulmaktadır. Derin öğrenme mimarilerinden Evrişimli Sinir Ağı, parametrelerin paylaşımı ve boyut azaltması özellikleri ile metin görüntülerinin analiz edilmesinde ileri beslemeli bir ağdan daha iyidir. Tekrarlayan Sinir Ağı mimarisinin zaman serisine bağlı veriler üzerindeki başarısı, metin görüntülerinden karakter tespiti için Evrişimli Sinir Ağı mimarisi ile başarılı sonuçlar ortaya koymaktadır. Sinir ağlarını eğitmek için kullanılan bir kayıp fonksiyonu olan Bağlantıcı Geçici Sınıflandırma, girdi verildiğinde hizalanmış verilere gerek duymadan veri etiketlemek için olasılık oluşturabilmektedir. Böylece, metin görüntüleri üzerinde karakterlerin doğru tespit edilmesini sağlamaktadır. Bu çalışmada, Evrişimli Sinir Ağının görüntü üzerindeki öznitelik tespit başarısı ile bir Tekrarlayan Sinir Ağı mimarisi olan İki Yönlü Uzun-Kısa Süreli Belleğin geçmiş ve gelecek bağlamları göz önüne alarak karakterlerin tespitindeki başarısı, Bağlantıcı Geçici Sınıflandırma ile birleştirilerek Evrişimli Tekrarlayan Sinir Ağı mimarisi oluşturulmuştur. Synth90k veri seti kullanılarak oluşturulan 50.000 görüntü verisinin % 90'ı eğitim, % 10'u test veri seti olarak belirlenmiştir. Evrişimli Tekrarlayan Sinir Ağı kullanılarak tasarlanan ağın karakter tespiti için doğruluk oranı %90 olarak elde edilmiştir. Metin görüntüleri üzerinde başarılı bir şekilde tespit edilen bu karakterin uygun metni ortaya çıkarmadaki başarısı ile mobil tabanlı yönlendirme uygulamasında kullanılması hedeflenmektedir.

🔖

Cite This Article

ATASOY, N. A., SOMUNCU, E. (2022). Character Recognition Using Convolutional Recurrent Neural Network on Images of Text. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, Cilt: 37 - Sayı: 1, 17–27. https://ajindex.com/articles/523451

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (14)

  1. Comlek R., Akbas B., Shen J., Sutchiewcharn N., Wen A. Şeker, B. Diri, H. H. Balık, “Derin Öğrenme Yöntemleri ve Uygulamaları Hakkında Bir İnceleme”, Gazi Mühendislik Bilimleri Dergisi 2017, 3(3): 47-64
  2. J. Deng, W. Dong, R. Socher, L. Li, Kai Li and Li Fei-Fei, "ImageNet: A large-scale hierarchical image database," 2009 IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, 2009, pp. 248-255, doi: 10.1109/CVPR.2009.5206848
  3. E. Grefenstette, P. Blunsom, N. de Freitas, and K. M. Hermann, ―A Deep Architecture for Semantic Parsing, Apr. 2014
  4. Y. Kim, “Convolutional Neural Networks for Sentence Classification”, Aug. 2014
  5. A. Graves and N. Jaitly, ―Towards End-To-End bluSpeech Recognition with Recurrent Neural Networks., in ICML, 2014, pp. 1764–1772
  6. A. Karpathy and L. Fei-Fei, ―Deep VisualSemantic Alignments for Generating Image Descriptions, in CVPR, 2015, pp. 3128–3137
  7. Salouhou Aoudou, “El Yazısı Karakter Tanıma ve Resim Sınıflandırmada Derin Öğrenme Yaklaşımları”, Fatih Sultan Mehmet Vakıf Üniversitesi, Lisansüstü Eğitim Enstitüsü, Bilgisayar Mühendisliği Anabilim Dalı, Yayımlanmamış Yüksek Lisans Tezi, 2019
  8. Hamad K., Kaya M. A Detailed Analysis of Optical Character Recognition Technology. International Journal of Applied Mathematics Electronics and Computers. 2016; (Special Issue-1): 244-249
  9. Koyun A., Afşin E. Derin Öğrenme ile İki Boyutlu Optik Karakter Tanıma. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi. 2017; 10(1): 11-14
  10. M. Jaderberg, K. Simonyan, A. Vedaldi, and A. Zisserman. “Reading text in the wild with convolutional neural networks.” International Journal of Computer Vision, 116(1):1–20, Jan 2016
  11. Wang, Ruishuang & Li, Zhao & Cao, Jian & Chen, Tong & Wang, Lei. (2019). Convolutional Recurrent Neural Networks for Text Classification. 1-6. 10.1109/IJCNN.2019.8852406
  12. Satvik Samb Saxena, G. Saranya, Deeksha Aggarwal. (2020). A Convolutional Recurrent Neural Network (CRNN) Based Approach for Text Recognition and Conversion of Text To Speech in Various Indian Languages. International Journal of Advanced Science and Technology, 29(06), 2770 - 2776
  13. T. He, W. Huang, Y. Qiao and J. Yao “Text-Attentional Convolutional Neural Network for Scene Text Detection”, arXiv:1510.03283v2 [cs.CV] 24 Mar 2016
  14. Wang, Ruishuang & Li, Zhao & Cao, Jian & Chen, Tong & Wang, Lei. (2019). Convolutional Recurrent Neural Networks for Text Classification. 1-6. 10.1109/IJCNN.2019.8852406. 1