AI Summary & Key Takeaways
AI InsightThe findings revealed significant differences in length and thematic content density among the texts, and a decrease in the volume of tokens included in the analysis after preprocessing.
📌 3 Key Takeaways
Abstract
The most significant challenge in applying text mining to Turkish texts is that, due to the agglutinative nature of the language, preprocessing and normalization decisions directly affect the analysis results. Despite this, application guides that explain, along with their justifications, the steps involved in preparing data for Turkish texts, creating linguistic normalization text representations, extracting thematic patterns, and reporting outputs in R software are still limited. This study aims to address this deficiency by presenting a step-by-step workflow for generating text statistics and conducting content analysis in Turkish texts using R software. The material for this study consists of a structure of 30 Turkish texts produced on the same subject. In the method, indicators related to length, sentence structure, lexical diversity, conjunction, stop word ratios, and punctuation profile were first calculated for the raw texts to gather potential background information. Then, preprocessing and root reduction steps appropriate for Turkish were applied, document-term matrices were created, and a reasoned selection was made by comparing candidate solutions for thematic pattern extraction using multiple quality indicators. The findings revealed significant differences in length and thematic content density among the texts, and a decrease in the volume of tokens included in the analysis after preprocessing. The selected thematic structure was found to produce a moderate level of similarity in repeated runs. In conclusion, the study presents an application framework that reveals critical decision points in the text analysis process conducted with R software in Turkish texts and can produce similar outputs when repeated with the same data.
Özet
Türkçe metinlerde metin madenciliği uygulamalarında en önemli güçlük, dilin sondan eklemeli yapısı nedeniyle ön işleme ve normalleştirme kararlarının analiz sonuçlarını doğrudan etkilemesidir. Buna rağmen R yazılımında; Türkçe metinler için veri hazırlama, dilsel normalleştirme, metin temsili oluşturma, tematik örüntü çıkarımı ve çıktıların raporlanması gibi adımları birlikte ve gerekçeleriyle açıklayan uygulama kılavuzları hala sınırlı düzeydedir. Bu çalışma, bu eksikliği azaltmak amacıyla, R yazılımı kullanılarak, Türkçe metinlerde metin istatistikleri üretme ve içerik analizi yürütme sürecini adım adım bir iş akışı olarak sunmuştur. Çalışmanın materyalini, aynı konu ekseninde üretilmiş, 30 Türkçe metinden oluşan bir yapı oluşturmuştur. Yöntemde, öncelikle potansiyel ön bilgi için; ham metinler için uzunluk, cümle yapısı, sözcüksel çeşitlilik, bağlaç, durak sözcük oranları ve noktalama profiline ilişkin göstergeler hesaplanmıştır. Ardından Türkçeye uygun ön işleme ve köke indirgeme adımları uygulanmış, belge–terim matrisleri oluşturulmuş ve tematik örüntü çıkarımı için aday çözümlerin birden fazla kalite göstergesiyle karşılaştırılması sonucunda gerekçeli bir seçim yapılmıştır. Bulgular, metinler arasında belirgin uzunluk ve tematik içerik yoğunluğu farklılıkları bulunduğunu ve ön işleme sonrasında analize giren token hacminde azalma gerçekleştiğini göstermiştir. Seçilen tematik yapının tekrarlı çalıştırmalarda orta düzeyde benzerlik ürettiği görülmüştür. Sonuç olarak çalışma, Türkçe metinlerde R yazılımı ile yürütülen metin analizi sürecinde kritik karar noktalarını görünür kılan ve aynı veri ile tekrarlandığında benzer çıktılar üretebilen bir uygulama çerçevesi sunmuştur.