AI Summary & Key Takeaways
AI InsightExperimental results showed that the final ResNet50–ResNet101 weighted soft voting ensemble achieved 94.17% video-level accuracy, 0.986 AUC, 0.9440 F1-score, and 0.8864 MCC.
📌 3 Key Takeaways
Abstract
Deepfake technology has raised growing concerns due to its potential to enable misinformation, identity fraud, and security threats through manipulated digital content. As these risks continue to increase, the development of reliable deepfake detection methods has become essential. In this study, a spatial feature-based ensemble deep learning framework is proposed to improve detection accuracy and classification stability. Facial regions were first extracted from video frames using the MTCNN algorithm to focus the analysis on relevant facial areas. The proposed framework focuses on spatial facial representations extracted from individual video frames rather than explicit temporal modeling. Subsequently, ResNet50 and ResNet101 were employed as the main spatial feature extractors to obtain deep facial representations at different abstraction levels. ResNet152 was also evaluated experimentally to examine the effect of a deeper feature extraction branch; however, it was not included in the final framework because it increased runtime without improving video-level classification performance. The extracted feature vectors were classified using independent multilayer perceptron (MLP) classifiers, and the final prediction was obtained using a two-model weighted soft voting ensemble. The proposed method was evaluated on a balanced subset of the Celeb-DF dataset using a video-level train-test split to reduce data leakage between training and test sets. Experimental results showed that the final ResNet50–ResNet101 weighted soft voting ensemble achieved 94.17% video-level accuracy, 0.986 AUC, 0.9440 F1-score, and 0.8864 MCC. The two-model ensemble achieved performance comparable to the three-model configuration while providing a more favorable runtime profile. These findings suggest that combining complementary spatial facial representations through weighted soft voting provides a reliable and computationally efficient approach for deepfake video detection.
Özet
Deepfake teknolojisi, manipüle edilmiş dijital içerik yoluyla yanlış bilgilendirme, kimlik sahtekarlığı ve güvenlik tehditlerine olanak sağlama potansiyeli nedeniyle giderek artan endişelere yol açmıştır. Bu riskler artmaya devam ettikçe, güvenilir deepfake tespit yöntemlerinin geliştirilmesi hayati önem kazanmıştır. Bu çalışmada, tespit doğruluğunu ve kararlılığını iyileştirmek için topluluk stratejisine dayalı hibrit bir derin öğrenme yaklaşımı önerilmiştir. Analizi ilgili alanlara odaklamak için öncelikle MTCNN algoritması kullanılarak video karelerinden yüz bölgeleri çıkarılmıştır. Daha sonra, farklı soyutlama seviyelerinde tamamlayıcı temsilleri yakalamak için değişen derinliklerinden yararlanılarak derin ve ayırt edici özellikler çıkarmak için ResNet50, ResNet101 ve ResNet152 kullanılmıştır. Çıkarılan özellik vektörleri daha sonra çok katmanlı algılayıcı (MLP) sınıflandırıcılar kullanılarak sınıflandırılmış ve tahminleri birleştirmek ve sınıflandırma hatalarını azaltmak için çoğunluk oylama şeması uygulanmıştır. Önerilen yöntem, Celeb-DF veri kümesinin dengeli bir alt kümesi üzerinde değerlendirilmiştir. Deneysel sonuçlar, topluluğun bireysel modellere kıyasla daha istikrarlı ve sağlam bir performans sağladığını ve %98,82 AUC, %96,92 doğruluk ve %97,67 geri çağırma oranına ulaştığını göstermektedir. Bağımsız modeller arasında ResNet50 en yüksek performansı göstermiştir. Bu bulgular, farklı derinliklerdeki ağlar tarafından öğrenilen özelliklerin entegre edilmesinin güvenilirliği artırdığını ve daha tutarlı deepfake video tespitini desteklediğini göstermektedir.