Quand l’IA sert à humilier : épidémie de deepfakes pornographiques en Corée du Sud

« Chaque minute, des gens publient des images de filles qu’ils connaissent et demandent à les transformer en deepfakes. » Tel est le constat dressé par la journaliste sud coréenne Ko Narin auprès de la BBC. Apprenant que la police enquêtait sur des réseaux de diffusion dans deux des plus grandes universités de Corée du Sud, cette dernière s’est rapidement convaincue qu’il devait en exister d’autres à travers le pays. En fouillant les réseaux sociaux, et notamment Telegram, elle en a exhumé plusieurs dizaines. Loin de concerner seulement des universités, ces canaux de discussions visaient quelquefois à publier des images manipulées de lycéennes, voire de collégiennes. Si de nombreuses images étaient créées à partir de photos d’une seule et même personne, des canaux étaient ouverts spécifiquement pour l’humiliation de la jeune fille en question. L’article qui a résulté de cette enquête, publié dans le journal Hankyoreh, a secoué le pays. Des militantes féministes se sont jointes à la quête de ces boucles de discussion : au bout d’une semaine, elles avaient aidé à identifier au moins 500 écoles et universités ciblées par ce type d’échanges. La grande majorité des victimes, de même qu’une partie de leurs auteurs, a moins de 16 ans, âge légal du consentement en Corée du Sud. Un phénomène déjà ancien Cette vague n’est pas le premier phénomène de diffusion non consentie d’images à caractère sexuel en Corée du Sud. De 2018 à 2020, l’affaire de la Nth Room 1 a piégé plus d’une centaine de femmes et de filles mineures pour les forcer à partager des images explicites, quelquefois d’agressions sexuelles, voire de viols. À l’époque, déjà, ces contenus se mêlaient à de nombreux deepfakes, des images, représentant le plus souvent des célébrités de la pop culture, modifiées par intelligence artificielle. En 2019, Deeptrace (renommée depuis Sensity.AI) avait analysé 2 plus de 14 500 vidéos modifiées de cette manière et constaté que 96 % avaient un caractère pornographique. Cinq ans plus tard, Security Hero 3 a réalisé un exercice similaire en se penchant sur plus de 95 800 vidéos. Résultat : 98 % des deepfakes étudiés étaient constitués de vidéos pornographiques, dont 99 % représentaient des femmes, et 94 % des personnes issues de l’industrie culturelle (actrices, chanteuses, influenceuses, etc.) Dans certains cas, comme celui de la journaliste indienne Ranya Ayyub 4 ou, plus récemment en France celui de sa consœur Salomé Saqué 5, la tactique vise expressément à entacher la réputation de professionnelles de l’information ou d’autres secteurs, voire à les réduire au silence. Le rôle de Telegram En Corée du Sud, cela dit, ce sont des femmes traditionnellement moins exposées qui subissent la vague de deepfakes en cours. Le président Suk-yeol 6, pourtant connu pour son antiféminisme 7, a lui-même appelé à approfondir les enquêtes et sévir contre les auteurs de ces publications et de leur diffusion. D’autant plus que l’affaire s’entrechoque avec l’actualité internationale : l’existence des boucles de conversation a été révélée une semaine à peine avant que le patron de Telegram Pavel Durov ne soit arrêté par les autorités françaises, puis soumis à un contrôle judiciaire. Telegram, en effet, est accusé depuis de nombreuses années pour la faiblesse de sa modération des contenus problématiques qu’elle héberge. La police sud-coréenne a ouvert 8 une enquête sur le rôle de la plateforme dans la diffusion d’images à caractère pédocriminel. De manière suffisamment rare pour être soulignée, cette dernière a accepté début septembre de supprimer certains contenus pornographiques (25 sur plusieurs milliers 9). L’effet de ces diffusions non consenties a néanmoins des effets déjà évidents sur le discours public : en Corée du Sud, des dizaines de filles et de femmes ont enlevé leurs images des réseaux sociaux, voire fermé leurs comptes, de peur de voir leurs publications détournées sans leur consentement. L’humiliation subie par la publication d’images manipulées par IA conduit, de fait, à les faire expulser de l’espace numérique coréen. Continuum de pratiques misogynes Si les technologies d’intelligence artificielle génératives facilitent la création en masse et la diffusion d’images pornographiques, ces manipulations sont loin d’exister par elles-mêmes. La manière d’organiser des conversations par canaux dédiés à des régions, des établissements, voire des personnes spécifiques, ressemble ainsi en tous points à la logique des comptes « Fisha » qui ont explosé 10 en France pendant la pandémie de Covid-19. Ces boucles de discussions servent de lieu d’échange d’images intimes (des « nudes ») sans le consentement des personnes qui y sont représentées. Dans certains cas, comme à Montpellier 11, en avril 2024, ces tactiques de harcèlement ont mené jusqu’à des agressions hors ligne. En Corée du Sud, les associations féministes relèvent par ailleurs que l’épisode actuel n’est que le dernier d’une longue série 12. Comme ailleurs sur la planète, les filles et les femmes y sont plus fréquemment visées par des vagues d’insultes, voire de doxxing. Le pays a aussi été secoué 13 par des scandales d’installations de caméras dans des toilettes publiques, à l’insu de leurs occupantes… Dans l’épidémie de deepfakes pornographiques actuelle, la plupart des contenus manipulés ciblent des femmes connues des auteurs de montages, indique 14 NPR. Chercheuse à l’Institut coréen de Justice et de Criminologie de Séoul, Chang Dahye explique à la radio publique américaine que le but, dans la plupart des cas, consiste à « rabaisser les femmes en général ». Une logique cohérente avec l’épidémie de groupes de discussions masculinistes, du nom de cette idéologie prônant la domination totale de la virilité, aux dépens directs des droits des femmes. Auprès de l’AFP 15, la militante féministe et ancienne membre du Parti de la justice Bae Bok-joo souligne en effet que ce type de groupes Telegram avait été retrouvé dans 70 % des établissements concernés par les diffusions de deepfakes. Nécessaire éducation au consentement Lors de son étude de dizaines de milliers de contenus modifiés par IA, Security Hero avait de son côté tenté 16 d’en savoir plus sur les consommateurs de deepfakes pornographiques. Sur les 1522 hommes états-uniens interrogés, la moitié en avaient déjà vu. 74 % des consommateurs de ce type d’images déclaraient ne pas s’en sentir coupable. Pour autant, 73 % indiquaient qu’ils voudraient faire appel aux autorités si l’un ou l’une de leurs proches était victime de ce type de manipulation d’image. Hors des cercles masculinistes, il reste en effet relativement évident que la manipulation de l’image d’une personne à des fins pornographiques outrepasse les limites de son consentement. « Quand on crée des contenus pornographiques avec le corps de quelqu’un, on est déjà dans une dimension d’actes sexuels », explique 17 ainsi l’activiste Elvire Duvelle-Charles, autrice de Féminisme et réseaux sociaux. À ce titre, même pour créer des images, un consentement « libre, éclairé, informé » est nécessaire. À défaut, mieux vaut s’abstenir, voire, pourquoi pas, signaler les contenus problématiques pour en faciliter la modération. Et pour se défendre ? En Corée du Sud, on l’a vu, les appels à renforcer la réponse légale se multiplient. En France, aussi récent soit le phénomène, les évolutions du droit visant à réduire les violences numériques s’appliquent déjà aux deepfakes pornographiques. La création, avec ou sans intelligence artificielle, d’une image à caractère sexuel sans le consentement de la personne concernée est ainsi passible de deux ans d’emprisonnement et 60 000 euros d’amende, et de trois ans et 75 000 euros d’amende si elle est diffusée sur un service de communication publique, selon le Code Pénal 18. Et pour obtenir un retrait rapide des images problématiques, l’avocat Alexandre Archambault indique 19 qu’il est aussi possible d’argumenter qu’il s’agit d’une infraction au droit à la vie privée au sens du Code civil 20.

Thématiques

Le best of

L’Europe et le défi de la souveraineté numérique : entretien avec Edemilson Paraná

Le poids d’un « Bonjour »

« AI Down Syndrome » : fétichiser la trisomie 21 pour monétiser des deepfakes

« Hypnocratie » : performance conceptuelle et transe collective

Pour aller plus loin

Quand l’IA sert à humilier : épidémie de deepfakes pornographiques en Corée du Sud

Pour continuer à lire l'article

Je soutiens Synth

Je partage l'article

L’Europe et le défi de la souveraineté numérique : entretien avec Edemilson Paraná

Le poids d’un « Bonjour »

« AI Down Syndrome » : fétichiser la trisomie 21 pour monétiser des deepfakes

« Hypnocratie » : performance conceptuelle et transe collective

AI 2027, une bonne vieille daube

Thématiques

Le best of

Pour aller plus loin

Quand l’IA sert à humilier : épidémie de deepfakes pornographiques en Corée du Sud

Pour continuer à lire l'article

Je soutiens Synth

Je partage l'article

Partager cet article

Lire la suite