SavedAdd your journal

Journals / Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi / 2023 / Cilt: 38 - Sayı: 4

Derin sinir ağlarıyla Osmanlıca optik karakter tanıma

İshak DÖLEK
Atakan KURT
Pages
2579–2594
Publication Date
2023-04-12
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

Karşılaştırmada kullanılan 21 sayfalık orijinal doküman görüntüleri, kesin referans metinleri, modellerin OCR çıktıları ve normalizasyonu yapıp doğruluk oranlarını hesaplayan Python programını içeren test veri kümesi osmanlica.com/test adresinde paylaşılmıştır.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:Bu makalede "Osmanlıcadan Günümüz Türkçesine Uçtan Uca Aktarım Projesi" kapsamında geliştirilen ve nesih hattıyla basılmış Osmanlıca (Osmanlı Türkçesi) doküman görüntülerini derin sinir ağı modelleriyle metne dönüştüren web tabanlı bir optik karakter tanıma (OCR) sistemi sunulmuştur.
📊
Key Findings & Data:Eğitim için orijinal, sentetik ve hibrit olmak üzere 3 farklı veri kümesi hazırlanmış ve bunlarla aynı isimde 3 farklı OCR modeli oluşturulmuştur.
💡
Conclusion & Impact:Karşılaştırmada kullanılan 21 sayfalık orijinal doküman görüntüleri, kesin referans metinleri, modellerin OCR çıktıları ve normalizasyonu yapıp doğruluk oranlarını hesaplayan Python programını içeren test veri kümesi osmanlica.com/test adresinde paylaşılmıştır.
🔬Design:Modeling & Simulation
📍Scope:Comprehensive Sample
⚙️Variables:Osmanlıca · Optik karakter tanıma · OCR

Özet

Bu makalede "Osmanlıcadan Günümüz Türkçesine Uçtan Uca Aktarım Projesi" kapsamında geliştirilen ve nesih hattıyla basılmış Osmanlıca (Osmanlı Türkçesi) doküman görüntülerini derin sinir ağı modelleriyle metne dönüştüren web tabanlı bir optik karakter tanıma (OCR) sistemi sunulmuştur. Sistemin derin sinir ağı mimarisi görüntü tanımada yaygın kullanılan CNN katmanlarından ve doğal dil işlemede yaygın kullanılan bir RNN türü olan iki yönlü LSTM katmanlarından oluşmaktadır. Eğitim için orijinal, sentetik ve hibrit olmak üzere 3 farklı veri kümesi hazırlanmış ve bunlarla aynı isimde 3 farklı OCR modeli oluşturulmuştur. Orijinal veri seti yaklaşık 1.000 sayfadan, sentetik veri seti ise yaklaşık 23.000 sayfadan oluşmaktadır. Geneline Osmanlica.com OCR adı verilen bu 3 model Tesseract’ın Arapça ve Farsça, Google Docs’ın Arapça, Abby FineReader’ın Arapça ve Miletos firmasının OCR model/araçlarıyla test için hazırladığımız 21 sayfalık orijinal doküman kümesi kullanılarak karşılaştırılmıştır. Kesin referans ve OCR çıktı metinleri kullanıcı ve yazılım kaynaklı hatalar içerdiğinden karşılaştırmadan önce metinler özel bir normalizasyon sürecinden geçirilmiştir. Karşılaştırma ham, normalize ve bitişik olmak üzere 3 farklı metin ve karakter, katar ve kelime tanıma olmak üzere 3 farklı ölçüt ile yapılmıştır. Osmanlica.com Hibrit modeli karakter tanımada %88,86 ham, %96,12 normalize ve %97,37 bitişik doğruluk oranlarıyla; bağlı karakter katarı tanımada %80,48 ham, %91,60 normalize ve %97,37 bitişik doğruluk oranlarıyla; kelime tanımada %44.08 ham ve %66.45 normalize doğruluk oranlarıyla diğer modellerden belirgin şekilde daha iyi sonuçlar üretmiştir. Makalede Osmanlı alfabesinin kendine özgü karakteristiklerinin OCR üstündeki etkilerini gözlemlemek için Osmanlıcanın karakter, katar ve kelime ölçütlerinde sıklık analizi çalışması yapılmıştır. Bu sıklık analizi çalışmasında alfabedeki karakterler bitişebilme, harf gövdesi, noktaların konumu ve sayıları, karakterin türü, kaynak dil vb. ayırt edici özelliklere göre gruplandırılmış grup bazında sıklıklar hesaplanmıştır. Yapılan karşılaştırma deneylerinde karakter tanıma doğruluk oranları grup bazında hesaplanarak ayrıca incelenmiştir. Deneylerde sadece karakter tanıma doğruluk oranlarıyla yetinilmemiş, hatalar detaylı olarak incelenmiş, harf bazındaki OCR hataları ekleme, silme ve yer değiştime işlemleri cinsinden ortaya konulmuştur. Böylece en çok hangi harfin hangi harflerle karıştırıldığı, en çok hangi harflerin gözden kaçırıldığı, hangi durumlarda hangi tür hataların daha çok ortaya çıktığı vb. durumlar sadece kendi OCR modelimizde değil diğer tüm modeller için ortaya konulmuştur. Bu bulguların hem verilerin ön/son işlemesinde hem de modellerin iyileştirmesinde değerli katkılar sağlayacağını düşünüyoruz. Karşılaştırmada kullanılan 21 sayfalık orijinal doküman görüntüleri, kesin referans metinleri, modellerin OCR çıktıları ve normalizasyonu yapıp doğruluk oranlarını hesaplayan Python programını içeren test veri kümesi osmanlica.com/test adresinde paylaşılmıştır.

🔖

Cite This Article

DÖLEK, İ., KURT, A. (2023). Derin sinir ağlarıyla Osmanlıca optik karakter tanıma. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, Cilt: 38 - Sayı: 4, 2579–2594. https://ajindex.com/articles/886102

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (11)

  1. M. ERGİN, Osmanlıca Dersleri, İstanbul: Boğaziçi yayınları, 2020.
  2. Q. U. A. Akram, S. Hussain, A. Niazi, U. Anjum ve F. Irfan, “Adapting Tesseract for Complex Scripts: An Example for Urdu Nastalique,” in Document Analysis Systems (DAS) 11th IAPR International Workshop on, 2014, pp. 191-195., 2014 A. A. Atici ve F. T. Yarman Vural, “A heuristic algorithm for optical character recognition of Arabic Script,” Signal Processing 62, 8799., 1997.
  3. E. Öztop, A. Y. Mülayim, V. Atalay ve F. Yarman Vural, “Repulsive Attractive Network for Baseline Extraction on Document Images,” Signal Processing 75, no. 1 (1999): 1-10.
  4. A. Ozturk, S. Güneş ve Y. Özbay, “Multifont Ottoman Character Recognition,” 7th IEEE Int. Conf. on Electronics Circuits and System (ICECS) bildiri kitapçığı içinde (2000).
  5. E. Şeykol, A. K. Sinop, U. Güdükbay ve Ö. Ulusoy, “Content Based Retrieval of Historical Ottoman Documents Stored as Textual Images,” IEEE Transactions on Image Processing, cilt 13, no. 314, 2004. E. Ataer ve P. Duygulu, “Matching ottoman words: an image retrieval approach to historical document indexing,” Proceedings of the 6th ACM International conference on Image and Video Retrieval, 2007.
  6. I. Z. Yalniz, I. Sengor Altingovde, U. Güdükbay ve Ö. Ulusoy, “Ottoman Archives Explorer: A Retrieval System for Digital Ottoman Archives,” Journal on Computing and Cultural Heritage (JOCCH) 2.3 (2010): 1-20. E. F. Can ve P. Duygulu, “A line based representation for matching words in historical manuscripts,”, Pattern Recognition Letters 32, 11261138 (2011)
  7. P. Duygulu, D. Arifoglu ve M. Kalpaklı, “Cross-document word matching for segmentation and retrieval of Ottoman divans,” Pattern Analysis and Applications, cilt 19, no. 3, pp. 647-663., 2016.
  8. N. Kilic, P. Gorgel, O. N. Ucan and A. Kala, “Multifont Ottoman character recognition using support vector machine,” 2008 3rd Int. Sym. on Communications, Control and Signal Processing, 2008, pp. 328-333 A. Onat,. F. Yildiz ve M. Gündüz, “Ottoman Script Recognition Using Hidden Markov Model,” World Academy of Science, Engineering and Technology 2, 630 632 (2008).
  9. Z. Kurt, H. I. Turkmen ve E. Karsligil, “Linear Discriminant Analysis in Ottoman Alphabet Character Recognition,” Proceedings of the European Computing Conference, 2009.
  10. P. Gorgel, N. Kilic, B. Ucan, A. Kala ve O. N. Ucan, “A Backpropagation Neural Network Approach For Ottoman Character Recognition,” Intelligent Automation & Soft Computing 15, 3 (2009).
  11. I. Z. Yalniz, I. S. Altingovde, U. Güdük