Publications
Le célèbre portrait de Mona Lisa animé en utilisant trois sources différentes, conserve les propriétés de la vidéo dans son comportement et de la peinture d'un point de vue structurel. Une évolution des réseaux de neurones à l'origine des deepfakes.
Les chercheurs du Samsung AI center de Moscou ont découvert un moyen encore plus simple de créer des deepfakes. Le système de meta-learning décrit dans ce papier récemment publié, lui, est en revanche beaucoup plus compliqué. Traditionnellement, pour récréer un mouvement sur une image, il est nécessaire d’entrainer un réseau neuronal avec un volume de données très important. Grace à la méthode développée par ces chercheurs, une seule image suffit.
Le modèle repose sur un GAN (generative adversarial network ou en français les réseaux antagonistes génératifs) entrainé sur des marqueurs spécifiques du visage. Il a détecté les yeux, le nez, la bouche, la courbure de la mâchoire, les sourcils de plus de 7000 visages réunis au sein d’une base de donnée publique répondant au doux nom de Voxceleb.
Ce modèle est ainsi utilisé pour générer une image synthétique (generator) qui va être combinée à une image réelle grace à un second réseau neuronal (l’embedder) puis le résultat va être analysé par un troisième réseau (le discriminator) et une note va lui être appliqué. Plus cette note sera haute, plus le réalisme sera fort, meilleure sera la vidéo. Le discriminator apprends alors de mieux en mieux à reconnaitre les vidéos où les visages semblent réellement “humains”.
Si l’ensemble n’est pas toujours à la hauteur, notamment quand des éléments du décors “mordent” sur les visages (micros, casquettes etc) force est de constater que le résultat questionne profondément nos certitude sur ce qui est vrai et ce qui ne l’est pas.
Pour découvrir en détail les travaux du Samsung AI center, regardez la vidéo ci-dessous.
