Derin Öğrenme Algoritmalarını Kullanarak Deepfake Video Tespiti

Deepfake videolar özellikle son yıllarda çok fazla dikkat çeken alanlardan birisidir. Sosyal ağların artan popülaritesi neticesinde mobil cihazların gelişmiş kameraları ile oluşturulan video ve görüntülerin düzenlenmesi ve paylaşılması geçmiş döneme göre daha erişilebilir bir düzeye ulaşmıştır. Deepfake tekniği ile oluşturulan ve sosyal ağlarda dağıtımı yapılan birçok sahte görüntü ve video sadece kişilerin özel hayatını değil, aynı zamanda toplum düzenini de tehdit etmektedir. İnsan yüzü, insanlar arası etkileşimde ve biyometrik tabanlı doğrulama sistemlerinde halihazırda önemli bir role sahiptir. Bu nedenle, yüz karelerinde küçük çaplı manipülasyonlar dahi, güvenlik uygulamalarına ve sayısal verilere olan güveni sarsabilecektir. Bu çalışmada, deepfake video tespiti modelinin oluşturulmasında bir sınıflandırma probleminin çözümü yaklaşımı benimsenmiştir. Öznitelik çıkarıcı olarak önceden eğitilmiş EfficientNet model ailesi kullanılmış ve tahminin çıktısını elde etmek için bunun üzerinde bir sınıflandırıcı eğitilmiştir. Modelin eğitilmesinde yine derin öğrenme tabanlı yöntemlerle üretilen ve en büyük deepfake veri setlerinden olan DFDC veri seti kullanılmıştır. Derin öğrenme algoritma ve kütüphanelerinden yararlanılmış ve belirlenen videonun gerçek mi yoksa sahte mi olduğuna karar veren yeni bir model ortaya koyulmuştur.

Anahtar Kelimeler:

Sinir Ağları, Adli Bilişim, Derin Öğrenme, Sahte Video

Deepfake Video Detection Using Deep Learning Algorithms

Deepfake videos are one of the areas that have attracted a lot of attention, especially in recent years. As a result of the increasing popularity of social networks, editing and sharing of videos and images created with advanced cameras of mobile devices has reached a more accessible level than before. Many fake images and videos created with the deepfake techniques and distributed on social networks threaten not only the private life of individuals, but also the public order. The human face always has an important role in human interaction and biometric-based verification systems. Therefore, even minor manipulations of face frames can undermine trust in security applications and digital data In this study, a classification problem solution approach is adopted in the creation of the deepfake video detection model. Pre-trained EfficientNet model family is used as feature extractor and a classifier is trained on it to get the output of the prediction. The DFDC dataset, which is one of the largest deepfake datasets and produced by deep learning-based methods, was used to train the model. Deep learning algorithms and libraries have been used and a new model has been introduced that decides whether the determined video is real or fake.

Keywords:

Neural Networks, Forensic Science, Deep Learning, Fake Video,

PDF

___

[1] Berk, M ., “Dijital Çağın Yeni Tehlikesi Deepfake” . OPUS Uluslararası Toplum Araştırmaları Dergisi , 16 (28): 1508-1523, (2020).
[2] Westerlund, M., “The Emergence of Deepfake Technology: A Review.” Technology Innovation Management Review. , 39-52. 10.22215/timreview/1282, (2019).
[3] Bayar, B., Stamm M. C., “A deep learning approach to universal image manipulation detection using a new convolutional layer”, 4th ACM Workshop Inf. Hiding and Multimedia Secure, 5–10, (2016).
[4] Afchar, D., Nozick, V., Yamagishi, J., Echizen, I., “MesoNet: a Compact Facial Video Forgery Detection Network”, IEEE International Workshop on Information Forensics and Security (WIFS), (2018).
[5] Zhou, P., Han, X., Morariu, V. I., Davis, L. S., “Two-Stream Neural Networks for Tampered Face Detection,” [Online]. İnternet:http://arxiv.org/abs/1803.11276, (2018).
[6] Li, Y., Chang, M., Lyu, S., “Exposing AI created fake videos by detecting eye blinking”, IEEE Int. Workshop on Information Forensics and Security (WIFS), 1 –7, (2018).
[7] Güera, D., Delp, E. J., “Deepfake video detection using recurrent neural networks”, 15th IEEE Int. Conf. Adv. Video and Signal Based Surveill. (AVSS), 1 –6 Google Scholar, (2018).
[8] Li, Y., Yang, X., Lyu, S., “Exposing deep fakes using inconsistent head poses”, IEEE Int. Conf. Acoust., Speech and Signal Process. (ICASSP), 8261 –8265, (2019).
[9] Li, Y., Chang, M., Lyu, S., “Exposing AI Generated Fake Face Videos by Detecting Eye Blinking”, arXiv:1806.02877v2 [cs.CV], (2018).
[10] “Deepfake Detection Challenge/ Kaggle.”Internet:https://www.kaggle.com/c/deepfake-detection-challenge (Erişim Tarihi: 20 Ekim 2021).
[11] Tan, M., Le, Q.V., “EfficientNet: Rethinking model scaling for convolutional neural networks”,36th Int. Conf. Mach. Learn. ICML 2019-June, pp. 10691–10700,(2019).
[12] “Albumentation Library1[Online]. İnternet: https://albumentations.ai/docs/examples/pytorch_classification/ (Erişim Tarihi:17 Ağustos 2021).
[13] Ruben, T., Rodriguez, V., Fierrez, R., Morales, J., Garcia, A. O.,“DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection”, Information Fusion, (2020).
[14] Par, Ö., Akçapınar, S., Sever, H., "Sınıflandırmada Küçük ve Dengesiz Veri Kümesi Problemi/Small and Unbalanced Data Set Problem in Classification”, IEEE 27th Signal Processing and Communications Applications Conference (SIU), (2019).