Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightDeneysel sonuçlar, bulanık eşleşme tabanlı veri düzeltmenin tüm modellerde F1 skorunu ortalama +8,9 yüzde puan artırdığını ve düzeltilmiş veri setinin orijinal hatasız veriye çok yakın performans ürettiğini ortaya koymuştur.
📌 3 Maddede Bu Makale
Özet
Veri kalitesi, makine öğrenmesi modellerinin başarısını doğrudan etkileyen en kritik faktörlerden biridir. Gerçek dünya veri setlerinde sıklıkla karşılaşılan yazım hataları, tutarsız kodlamalar ve standart dışı girişler, model eğitim sürecini olumsuz yönde etkilemektedir. Bu çalışma, bulanık eşleşme (fuzzy matching) yöntemlerinin veri ön işleme aşamasında hatalı girişlerin tespiti ve düzeltilmesindeki rolünü incelemektedir. Levenshtein mesafesi, Jaro-Winkler benzerliği ve n-gram tabanlı yaklaşımlar gibi temel bulanık eşleşme algoritmalarının matematiksel temelleri sistematik biçimde ele alınmış ve bu yöntemlerin kategorik değişkenlerdeki tutarsızlıkları gidermede nasıl kullanılabileceği tartışılmıştır. Çalışmada, 10.000 kayıttan oluşan sentetik bir müşteri segmentasyonu veri setine kontrollü biçimde yazım hataları, büyük/küçük harf tutarsızlıkları, kısaltma farklılıkları ve transpozisyon hataları enjekte edilmiştir. Jaro-Winkler benzerliğine dayalı üç aşamalı bir düzeltme pipeline'ı uygulanarak hatalı girişlerin %96,3'ü başarılı biçimde düzeltilmiştir. Düzeltilmiş ve düzeltilmemiş veri setleri üzerinde Lojistik Regresyon, Karar Ağacı, Rastgele Orman ve XGBoost gibi sınıflandırma algoritmalarının performansları karşılaştırmalı olarak değerlendirilmiştir. Deneysel sonuçlar, bulanık eşleşme tabanlı veri düzeltmenin tüm modellerde F1 skorunu ortalama +8,9 yüzde puan artırdığını ve düzeltilmiş veri setinin orijinal hatasız veriye çok yakın performans ürettiğini ortaya koymuştur. Ayrıca düzeltme işleminin one-hot encoding sonrası öznitelik uzayını %38 oranında daraltarak hesaplama verimliliğini de önemli ölçüde iyileştirdiği gözlemlenmiştir.
Abstract
Data quality is one of the most critical factors directly affecting the performance of machine learning models. Spelling errors, inconsistent encodings, and non-standard entries are frequently encountered in real-world datasets and adversely affect the model training process. This study examines the role of fuzzy matching methods in detecting and correcting erroneous entries during the data preprocessing stage. The mathematical foundations of fundamental fuzzy matching algorithms, including Levenshtein distance, Jaro-Winkler similarity, and n-gram-based approaches, are systematically presented, and how these methods can be used to resolve inconsistencies in categorical variables is discussed. In this study, spelling errors, case inconsistencies, abbreviation variations, and transposition errors were injected in a controlled manner into a synthetic customer segmentation dataset consisting of 10,000 records. A three-stage correction pipeline based on Jaro-Winkler similarity was applied, successfully correcting 96.3% of the erroneous entries. The performances of classification algorithms such as Logistic Regression, Decision Tree, Random Forest, and XGBoost were comparatively evaluated on both corrected and uncorrected datasets. Experimental results demonstrated that fuzzy matching-based data correction improved the F1-score by an average of +8.9 percentage points across all models and that the corrected dataset produced performance very close to the original error-free data. Furthermore, the correction process was observed to significantly improve computational efficiency by reducing the feature space by 38% after one-hot encoding.