L'examen des modifications d'une vidéo au fil du temps permet de signaler les deepfakes

Auparavant, seules les sociétés de production hollywoodiennes disposant de vastes poches et d’équipes d’artistes et de techniciens chevronnés pouvaient réaliser des vidéos deepfake, des fabrications réalistes semblant montrer aux gens ce qu’ils disaient et faisaient. Plus maintenant, les logiciels disponibles gratuitement en ligne permettent à quiconque disposant d'un ordinateur et disposant d'un peu de temps de créer de fausses vidéos convaincantes.

Qu'ils soient utilisés pour se venger, pour harceler des célébrités ou pour influencer l'opinion publique, les deepfakes rendent fausse le vieil axiome selon lequel "voir, c'est croire".

Mon équipe de recherche et moi-même, à l'institut des sciences de l'information de l'Université de Californie du Sud, développons des moyens de faire la différence entre des faux réalistes et des vidéos authentiques montrant les événements réels tels qu'ils se sont produits. Nos recherches récentes ont permis de trouver un nouveau moyen, apparemment plus précis, de détecter les vidéos deepfake.

Trouver les défauts

De manière générale, divers algorithmes de deepfake fonctionnent en utilisant des techniques d'apprentissage automatique pour analyser les images de la cible, en identifiant les éléments clés des expressions faciales tels que le nez, les coins de la bouche, l'emplacement des yeux, etc. Ils utilisent ces informations pour synthétiser de nouvelles images du visage de cette personne et les assembler pour créer une vidéo de la cible qui semble réaliste mais qui est fausse.

La plupart des méthodes actuelles de détection de deepfakes consistent à examiner chaque image d'une vidéo séparément, soit manuellement, soit à l'aide d'un algorithme de détection, afin de détecter les petites imperfections laissées par le processus de fabrication de l'image. S'il y a suffisamment de preuves de manipulation dans suffisamment d'images, la vidéo est considérée comme fausse.

Cependant, les créateurs de deepfake ont commencé à utiliser de grandes quantités de compression d’image et de vidéo pour brouiller leurs résultats, masquant ainsi tout artefact pouvant révéler leur fausseté.

Regarder des séquences, pas des images simples

Notre méthode cherche à contourner cette déception en adoptant une approche différente. Nous extrayons toutes les images d'une vidéo et identifions les zones qui montrent le visage de la cible. Ensuite, nous empilons en réalité toutes ces images de visage, en nous assurant que le nez, les yeux et la bouche sont bien alignés entre chaque image. Ceci élimine les effets des mouvements de la tête ou des décalages de l'angle de la caméra dans la vidéo.

Ensuite, plutôt que de regarder chaque image de visage individuellement, nous recherchons des incohérences dans la façon dont les différentes parties du visage se déplacent d'une image à l'autre dans le temps. C'est un peu comme préparer un flip-book pour enfants et ensuite surveiller les sauts étranges dans la séquence. Nous avons constaté que cette méthode est plus précise, en partie parce que nous pouvons identifier davantage de preuves de mensonge que lorsque nous examinons chaque image seule.

Plus précisément, nous avons détecté des deepfakes dans 96% des cas, même lorsque les images et les vidéos étaient fortement compressées. Jusqu'à présent, nous n'avons trouvé ce niveau de précision que dans la seule base de données à grande échelle mise à la disposition des chercheurs universitaires pour évaluer leurs techniques de détection deepfake, appelée FaceForensics ++. Cet ensemble de données contient des vidéos de trois des algorithmes les plus en vue de la génération de deepfake, Face2Face, FaceSwap et DeepFake, bien que les simulateurs améliorent constamment leurs méthodes.

La détection Deepfake est une course aux armements dans laquelle les imitateurs et les chercheurs de vérité continueront à faire progresser leurs technologies respectives. Par conséquent, la tâche de limiter leurs effets sur la société dans son ensemble ne peut pas incomber uniquement aux chercheurs. Les érudits et les expérimentateurs doivent continuer à travailler, bien sûr, mais ce n'est pas tout. Je pense que les plates-formes de réseaux sociaux devraient également travailler au développement de logiciels et de politiques qui ralentissent la diffusion d'informations erronées de tous types, qu'il s'agisse de manipuler le visage d'une personne ou de montrer tout son corps en mouvement d'une manière qu'il n'aurait jamais pu.

Cet article est republié de The Conversation sous une licence Creative Commons. Lire l'article original.