Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightBulgular: Hiçbir algoritma şans düzeyini anlamlı biçimde aşmadı.
📌 3 Maddede Bu Makale
Özet
Amaç: Dijital izler giderek yaygınlaşan bir delil türü olmakla birlikte, büyük etkinlik kayıtlarının elle incelenmesi yavaş ve gözlemciye bağımlıdır. Bu çalışmada, yapılandırılmış ve etiketli bir siber suç adli veri setinde, tespit edilen tüm etiket sızıntısı kanalları kapatıldıktan sonra klasik gözetimli sınıflandırma algoritmalarının şüpheli ve normal kullanıcı etkinliklerini ayırt edip edemediği değerlendirilmiş ve sızıntının aynı analizin önceki sürümlerindeki görünür performansı ne ölçüde şişirdiği nicelenmiştir. Gereç ve Yöntem: Halka açık, sentetik olarak üretilmiş, 7.400 kayıt ve 11 nitelikten oluşan bir siber suç adli veri seti kullanıldı. Yalnızca şüpheli kayıtlarda dolu olan ve bu nedenle sonucu dolaylı olarak kodlayan anomali türü alanı, veri yüklendikten hemen sonra veri çerçevesinden çıkarıldı. Tüm 1.233 şüpheli kayıt ile, eksiksizlik koşulu uygulanmaksızın rastgele örneklenen 1.235 normal kayıt birleştirilerek 2.468 kayıtlık dengeye yakın bir çalışma veri seti oluşturuldu. Eksik değerler, etikete başvurulmaksızın tüm veri üzerinde hesaplanan sabitlerle dolduruldu. Etiket kodlamasının ardından veri %80/%20 oranında bölündü ve 27 sınıflandırma algoritması varsayılan ayarlarıyla karşılaştırıldı; lojistik regresyon referans modeli ayrıca beş katlı tabakalı çapraz doğrulama, karışıklık matrisi ve katsayı büyüklükleri ile değerlendirildi. Bulgular: Hiçbir algoritma şans düzeyini anlamlı biçimde aşmadı. En yüksek test doğruluğu 0,581 idi (perceptron; dengeli doğruluk 0,569; ROC AUC 0,562); şans düzeyini temsil eden kukla sınıflandırıcı 0,462 doğruluk ve 0,500 dengeli doğruluk verdi. 26 algoritmadan yalnızca beşi 0,500 dengeli doğruluğu aştı ve hiçbir ROC AUC değeri 0,562’yi geçmedi. Referans modelin çapraz doğrulaması 0,503 (SS 0,049) ortalama ROC AUC verdi. Hiçbir değişkenin etiketle mutlak korelasyonu 0,05’i aşmadı. Buna karşılık aynı işlem hattı, sızıntı kanalları açıkken dengeli tasarımda 0,862’ye varan doğruluk, dengesiz tanısal koşuda ise 26 algoritmadan 19’unda kusursuz skorlar üretmişti. Sonuç: Bu veri seti için daha önce bildirilen yaklaşık %86’lık sınıflandırma performansı, gerçek ayırt ediciliğin değil ön işleme sırasında oluşan etiket sızıntısının bir ürünüdür; sızıntı giderildikten sonra öznitelikler etikete ilişkin saptanabilir bilgi taşımamaktadır. Çalışma, sızıntının adli uygulamada inandırıcı görünen ancak gerçek olmayan sınıflandırıcılar üretebileceğinin belgelenmiş bir örneği sunulmaktadır.
Abstract
Objective: Digital traces are an increasingly common form of evidence, yet the manual review of large activity logs is slow and observer-dependent. This study evaluated whether conventional supervised classification algorithms can separate suspicious from normal user activity in a structured, labelled cyber-crime forensic dataset after the removal of every identified channel of label leakage. Methods: A publicly available, synthetically generated cyber-crime forensic dataset of 7,400 activity records with 11 attributes was used. The anomaly type field, which is recorded only for suspicious records and therefore encodes the outcome, was removed from the data frame. All 1,233 suspicious records and a simple random sample of 1,235 normal records, drawn without any completeness restriction, formed a near-balanced working dataset of 2,468 records. Missing values were imputed with constants computed on the pooled data without reference to the label. After label encoding, the data were split 80/20 and 27 classification algorithms were compared at their default settings; a logistic regression reference model was additionally assessed by five-fold stratified cross-validation, its confusion matrix, and the magnitudes of its coefficients. Results: None of the algorithms performed better than random guessing in any meaningful way. The highest test-set accuracy was 0.581 (perceptron; balanced accuracy 0.569; ROC AUC 0.562), against a chance baseline of 0.462 accuracy and 0.500 balanced accuracy; only five of the 26 algorithms exceeded a balanced accuracy of 0.500, and no ROC AUC exceeded 0.562. Cross-validation of the reference model gave a mean ROC AUC of 0.503 (SD 0.049). No predictor correlated with the label beyond an absolute value of 0.05. By contrast, the same pipeline had produced accuracies up to 0.862 in the balanced design, and perfect scores in 19 of 26 algorithms in an imbalanced diagnostic run, while the leakage channels were open. Conclusion: The classification performance of approximately 86% reported for this dataset was an artefact of label leakage introduced during preprocessing, not evidence of genuine separability. After remediation, the predictors carry no detectable information about the label. The study is reported as a documented case of how leakage can fabricate convincing forensic classifiers.