Detektovanje manipulacije u video snimcima stvorenih „deepfake“ tehnikom sistemom učenja prostorno vremenskih karakteristika

Abstract

U ovoj disertaciji analizirali smo i radili komparaciju metoda za preciznije i tačnije detektovanje manipulisanih video materijala uz pomoć Deepfake tehnike. Istraživanje je započeto analizom prethodnih modela predviđenih za detekciju manipulacije video materijala kroz Deepfake tehniku. Analizirani su prethodno obučeni modli i njihovi parametri. Analizirani prethodno obučeni modeli su XceptionNet, EfficientNetB i EfficientNetV. Parametri ovih modela koji su menjani u procesu preobučavanja su konfiguracija mreže SingleDLCNN, broj fold-ova kao i vrednost za Hold-out tehniku. Korišćen je DataSet sa preko 6000 datoteka od kojih je većina datoteka korišćena za treniranje neuronske mreže a ostale datoteke su korišćene za testiranje i validaciju. Za izdvajanje najboljih rezultata korišćen je CV (Cross-Validation), a tačnost istih je uvećana tehnikom težinskog usrednjavanja tj. optimizacijom težine. Prikazani su rezultati za sva tri obučena modela, a najbolji rezultat je ostvaren uz pomoć EfficientNetbB4. 96.8% (FAR = 5.97%). Smatramo da je postignutim rezultatom dokazan kvalitet metode učenja. Za budući rad planiramo unapređenje modela i eventualnu komercijalizaciju.