KaydedilenlerDerginizi ekleyin

Dergiler / Bilişim Teknolojileri Dergisi / 2026 / Cilt: 19 Sayı: 3

miLLi: Morfolojik Olarak Dayanıklı Tokenizasyon için Yerel Dilbilimsel İçgörüleri Entegre Eden Model

miLLi: Model Integrating Local Linguistic Insights for Morphologically Robust Tokenization

Elshad Rahimov0000-0001-9571-4441
Sayfa
363–372
Yayın Tarihi
2026-07-31
🏛️Bu makalenin bibliyografik verileri ve tam metin bağlantısı DergiPark üzerinden sağlanmıştır.
DergiPark Kaydı ↗
✨

Yapay Zeka Hızlı Bakış & Çıkarımlar

AI Insight
⚡ TL;DR(1 Cümlede Hızlı Çıkarım)

Bulgular, dilsel bir filtreleme katmanının entegrasyonunun, istatistiksel sıkıştırma ile anlamsal bütünlük arasında dengeli bir yapı kurduğunu göstermektedir.

📌 3 Maddede Bu Makale

🎯
Amaç & Hipotez:Standart istatistiksel tokenizasyon algoritmaları, Azerbaycan Türkçesi gibi sondan eklemeli dillerin morfolojik sınırlarını korumakta genellikle zorlanmaktadır.
📊
Temel Bulgular & Veri:Bu çalışma, kural tabanlı bir kök sözlüğünü istatistiksel Bayt Çifti Kodlaması (BPE) yaklaşımıyla bütünleştiren hibrit bir tokenizasyon modeli olan miLLi 1.0’ı sunmaktadır.
💡
Sonuç & Katkı:Bulgular, dilsel bir filtreleme katmanının entegrasyonunun, istatistiksel sıkıştırma ile anlamsal bütünlük arasında dengeli bir yapı kurduğunu göstermektedir.
🔬Tür:Modelleme & Sayısal Simülasyon
📍Kapsam:Genişletilmiş Akademik Örneklem
⚙️Değişkenler:NLP · sondan eklemeli diller · tokenizasyon

Özet

Standart istatistiksel tokenizasyon algoritmaları, Azerbaycan Türkçesi gibi sondan eklemeli dillerin morfolojik sınırlarını korumakta genellikle zorlanmaktadır. Bu çalışma, kural tabanlı bir kök sözlüğünü istatistiksel Bayt Çifti Kodlaması (BPE) yaklaşımıyla bütünleştiren hibrit bir tokenizasyon modeli olan miLLi 1.0’ı sunmaktadır. Modelin ayırt edici özelliği, allomorfik varyasyonları kanonik kök biçimlerine geri eşlemek için tasarlanmış dinamik bir fonolojik restorasyon algoritmasıdır. Tatoeba derlemi üzerindeki deneysel değerlendirmeler, miLLi 1.0’ın (32.000 sözlük boyutuyla 1.980 T/W) temsil verimliliği açısından GPT-4o ve mBERT gibi küresel standartlardan daha iyi performans gösterdiğini ortaya koymaktadır. Morfolojik Sınır Doğruluğu (MBA) %58.0 ve Kök Tutarlılık Oranı (RCR) %79.0 değerlerine ulaşan miLLi 1.0, aynı veri kümesinde eğitilmiş standart BPE modeli (%47.0 MBA, %1.0 RCR) gibi yerel istatistiksel modellere kıyasla daha yüksek dilbilimsel tutarlılık sergilemektedir. Bulgular, dilsel bir filtreleme katmanının entegrasyonunun, istatistiksel sıkıştırma ile anlamsal bütünlük arasında dengeli bir yapı kurduğunu göstermektedir.

Abstract

Standard statistical tokenization algorithms often struggle to preserve the morphological boundaries of agglutinative languages such as Azerbaijani. This study introduces miLLi 1.0, a hybrid tokenizer that integrates a rule-based root dictionary with a statistical Byte-Pair Encoding (BPE) approach. The model’s distinguishing feature is a dynamic phonological restoration algorithm designed to map allomorphic variations back to their canonical root forms. Empirical evaluations on the Tatoeba corpus demonstrate that miLLi 1.0 (with a 32,000 vocabulary size achieving 1.980 T/W) outperforms global standards such as GPT-4o and mBERT in terms of representation efficiency. While exhibiting lower token density compared to local statistical models, miLLi 1.0 demonstrates high linguistic robustness, achieving 58.0% in Morphological Boundary Accuracy (MBA) and 79.0% in Root Consistency Rate (RCR), significantly outperforming a standard BPE baseline trained under identical conditions (47.0% MBA and 1.0% RCR). The findings suggest that the integration of a linguistic filtration layer establishes an optimal balance between statistical compression and semantic integrity.

🔖

Bu Makaleye Atıf Yap

Rahimov, E. (2026). miLLi: Morfolojik Olarak Dayanıklı Tokenizasyon için Yerel Dilbilimsel İçgörüleri Entegre Eden Model. Bilişim Teknolojileri Dergisi, Cilt: 19 Sayı: 3, 363–372. https://doi.org/10.17671/gazibtd.1856668

📄 Tam Metin PDF Okuyucu

📄

PDF görüntüleyici hazırlanıyor...

Kaynakça (20)

  1. K. Huseynov, U. Suleymanov, S. Rustamov, J. Huseynov, “Training and evaluation of word embedding models for azerbaijani language”, ADA University 4th International Conference on Computing and Information Technologies, ADA University, Baku, Azerbaijan, 2020.
  2. K. Bostrom, G. Durrett, “Byte pair encoding is suboptimal for language model pretraining”, Findings of the Association for Computational Linguistics: EMNLP 2020, Association for Computational Linguistics, 4617-4624, 2020.
  3. Y. B. Kaya, A. C. Tantuğ, “Effect of tokenization granularity for turkish large language models”, Intelligent Systems with Applications, 21, 200335, 2024.
  4. A. Ziyaden, A. Yelenov, F. Hajiyev, S. Rustamov, A. Pak, “Text data augmentation and pre-trained language model for enhancing text classification of low-resource languages”, PeerJ Computer Science, 10, e1974, 2024.
  5. J. Devlin, M. W. Chang, K. Lee, K. Toutanova, “BERT: Pre-training of deep bidirectional transformers for language understanding”, arXiv preprint arXiv:1810.04805, 2018.
  6. OpenAI, GPT-4o System Card, arXiv preprint arXiv:2410.21276, 2024.
  7. R. Sennrich, B. Haddow, A. Birch, “Neural machine translation of rare words with subword units”, Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), Association for Computational Linguistics, 1715-1725, 2016.
  8. M. Schuster, K. Nakajima, “Japanese and korean voice search”, IEEE 2012 International Conference on Acoustics, Speech and Signal Processing (ICASSP), IEEE, Kyoto, Japan, 5149-5152, 2012.
  9. S. Virpioja, P. Smit, S. A. Grönroos, M. Kurimo, Morfessor 2.0: Python implementation and extensions for morfessor baseline, Technical report, Aalto University, 2013.
  10. A. A. Akın, M. D. Akın, “Zemberek, an open source nlp framework for turkic languages”, Structure, 10, 1-5, 2007.
  11. J. Isbarov, K. Huseynova, E. Mammadov, M. Hajili, D. Ataman, “Open foundation models for azerbaijani language”, Proceedings of the First Workshop on Natural Language Processing for Turkic Languages (SIGTURK 2024), Association for Computational Linguistics, 18-28, 2024.
  12. M. A. Bayram et al., “Tokens with meaning: A hybrid tokenization approach for nlp”, arXiv preprint arXiv:2508.14292, 2025.
  13. E. Asgari, Y. El Kheir, M. A. S. Javaheri, “Morphbpe: A morpho-aware tokenizer bridging linguistic complexity for efficient llm training across morphologies”, arXiv preprint arXiv:2502.00894, 2025.
  14. J. H. Clark, D. Garrette, I. Turc, J. Wieting, “Canine: Pre-training an efficient tokenization-free encoder for language representation”, Transactions of the Association for Computational Linguistics, 10, 73-91, 2022.
  15. B. Minixhofer et al., “Bolmo: Byteifying the next generation of language models”, arXiv preprint arXiv:2512.15586, 2025.
  16. W. Antoun, F. Baly, H. Hajj, “Arabert: Transformer-based model for arabic language understanding”, Proceedings of the 4th Workshop on Open-Source Arabic Corpora and Processing Tools, with a Shared Task on Offensive Language Detection, 9-15, 2020.
  17. A. V. Aho, M. J. Corasick, “Efficient string matching: an aid to bibliographic search”, Communications of the ACM, 18(6), 333-340, 1975.
  18. T. Nguyen et al., “CulturaX: A cleaned, enormous, and multilingual dataset for large language models in 167 languages”, Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), ELRA and ICCL, Torino, Italy, 4226-4237, 2024.
  19. A. Conneau et al., “Unsupervised cross-lingual representation learning at scale”, Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Association for Computational Linguistics, 8440-8451, 2020.
  20. B. Xu, “FineFreq: A Multilingual Character Frequency Dataset from Web-Scale Text”, arXiv preprint arXiv:2512.09701, 2025.