Quand l’IA sert à humilier : épidémie de deepfakes pornographiques en Corée du Sud

« Chaque minute, des gens publient des images de filles qu’ils connaissent et demandent à les transformer en deepfakes. » Tel est le constat dressé par la journaliste sud coréenne Ko Narin auprès de la BBC.

Apprenant que la police enquêtait sur des réseaux de diffusion dans deux des plus grandes universités de Corée du Sud, cette dernière s’est rapidement convaincue qu’il devait en exister d’autres à travers le pays. En fouillant les réseaux sociaux, et notamment Telegram, elle en a exhumé plusieurs dizaines.

Loin de concerner seulement des universités, ces canaux de discussions visaient quelquefois à publier des images manipulées de lycéennes, voire de collégiennes. Si de nombreuses images étaient créées à partir de photos d’une seule et même personne, des canaux étaient ouverts spécifiquement pour l’humiliation de la jeune fille en question.


L’article qui a résulté de cette enquête, publié dans le journal Hankyoreh, a secoué le pays. Des militantes féministes se sont jointes à la quête de ces boucles de discussion : au bout d’une semaine, elles avaient aidé à identifier au moins 500 écoles et universités ciblées par ce type d’échanges.

La grande majorité des victimes, de même qu’une partie de leurs auteurs, a moins de 16 ans, âge légal du consentement en Corée du Sud.

Un phénomène déjà ancien

Cette vague n’est pas le premier phénomène de diffusion non consentie d’images à caractère sexuel en Corée du Sud. De 2018 à 2020, l’affaire de la Nth Room ¹ a piégé plus d’une centaine de femmes et de filles mineures pour les forcer à partager des images explicites, quelquefois d’agressions sexuelles, voire de viols.

À l’époque, déjà, ces contenus se mêlaient à de nombreux deepfakes, des images, représentant le plus souvent des célébrités de la pop culture, modifiées par intelligence artificielle. En 2019, Deeptrace (renommée depuis Sensity.AI) avait analysé ² plus de 14 500 vidéos modifiées de cette manière et constaté que 96 % avaient un caractère pornographique.

Cinq ans plus tard, Security Hero ³ a réalisé un exercice similaire en se penchant sur plus de 95 800 vidéos. Résultat : 98 % des deepfakes étudiés étaient constitués de vidéos pornographiques, dont 99 % représentaient des femmes, et 94 % des personnes issues de l’industrie culturelle (actrices, chanteuses, influenceuses, etc.)

Dans certains cas, comme celui de la journaliste indienne Ranya Ayyub ⁴ ou, plus récemment en France celui de sa consœur Salomé Saqué ⁵, la tactique vise expressément à entacher la réputation de professionnelles de l’information ou d’autres secteurs, voire à les réduire au silence.

Le rôle de Telegram

En Corée du Sud, cela dit, ce sont des femmes traditionnellement moins exposées qui subissent la vague de deepfakes en cours. Le président Suk-yeol ⁶, pourtant connu pour son antiféminisme ⁷, a lui-même appelé à approfondir les enquêtes et sévir contre les auteurs de ces publications et de leur diffusion.

D’autant plus que l’affaire s’entrechoque avec l’actualité internationale : l’existence des boucles de conversation a été révélée une semaine à peine avant que le patron de Telegram Pavel Durov ne soit arrêté par les autorités françaises, puis soumis à un contrôle judiciaire. Telegram, en effet, est accusé depuis de nombreuses années pour la faiblesse de sa modération des contenus problématiques qu’elle héberge.

La police sud-coréenne a ouvert ⁸ une enquête sur le rôle de la plateforme dans la diffusion d’images à caractère pédocriminel. De manière suffisamment rare pour être soulignée, cette dernière a accepté début septembre de supprimer certains contenus pornographiques (25 sur plusieurs milliers ⁹).

L’effet de ces diffusions non consenties a néanmoins des effets déjà évidents sur le discours public : en Corée du Sud, des dizaines de filles et de femmes ont enlevé leurs images des réseaux sociaux, voire fermé leurs comptes, de peur de voir leurs publications détournées sans leur consentement. L’humiliation subie par la publication d’images manipulées par IA conduit, de fait, à les faire expulser de l’espace numérique coréen.

Continuum de pratiques misogynes

Si les technologies d’intelligence artificielle génératives facilitent la création en masse et la diffusion d’images pornographiques, ces manipulations sont loin d’exister par elles-mêmes.

La manière d’organiser des conversations par canaux dédiés à des régions, des établissements, voire des personnes spécifiques, ressemble ainsi en tous points à la logique des comptes « Fisha » qui ont explosé ¹⁰ en France pendant la pandémie de Covid-19. Ces boucles de discussions servent de lieu d’échange d’images intimes (des « nudes ») sans le consentement des personnes qui y sont représentées. Dans certains cas, comme à Montpellier ¹¹, en avril 2024, ces tactiques de harcèlement ont mené jusqu’à des agressions hors ligne.

En Corée du Sud, les associations féministes relèvent par ailleurs que l’épisode actuel n’est que le dernier d’une longue série ¹². Comme ailleurs sur la planète, les filles et les femmes y sont plus fréquemment visées par des vagues d’insultes, voire de doxxing. Le pays a aussi été secoué ¹³ par des scandales d’installations de caméras dans des toilettes publiques, à l’insu de leurs occupantes…

Dans l’épidémie de deepfakes pornographiques actuelle, la plupart des contenus manipulés ciblent des femmes connues des auteurs de montages, indique ¹⁴ NPR. Chercheuse à l’Institut coréen de Justice et de Criminologie de Séoul, Chang Dahye explique à la radio publique américaine que le but, dans la plupart des cas, consiste à « rabaisser les femmes en général ».

Une logique cohérente avec l’épidémie de groupes de discussions masculinistes, du nom de cette idéologie prônant la domination totale de la virilité, aux dépens directs des droits des femmes. Auprès de l’AFP ¹⁵, la militante féministe et ancienne membre du Parti de la justice Bae Bok-joo souligne en effet que ce type de groupes Telegram avait été retrouvé dans 70 % des établissements concernés par les diffusions de deepfakes.

Nécessaire éducation au consentement

Lors de son étude de dizaines de milliers de contenus modifiés par IA, Security Hero avait de son côté tenté ¹⁶ d’en savoir plus sur les consommateurs de deepfakes pornographiques.

Sur les 1522 hommes états-uniens interrogés, la moitié en avaient déjà vu. 74 % des consommateurs de ce type d’images déclaraient ne pas s’en sentir coupable. Pour autant, 73 % indiquaient qu’ils voudraient faire appel aux autorités si l’un ou l’une de leurs proches était victime de ce type de manipulation d’image.

Hors des cercles masculinistes, il reste en effet relativement évident que la manipulation de l’image d’une personne à des fins pornographiques outrepasse les limites de son consentement. « Quand on crée des contenus pornographiques avec le corps de quelqu’un, on est déjà dans une dimension d’actes sexuels », explique ¹⁷ ainsi l’activiste Elvire Duvelle-Charles, autrice de Féminisme et réseaux sociaux.

À ce titre, même pour créer des images, un consentement « libre, éclairé, informé » est nécessaire. À défaut, mieux vaut s’abstenir, voire, pourquoi pas, signaler les contenus problématiques pour en faciliter la modération. 

Et pour se défendre ? En Corée du Sud, on l’a vu, les appels à renforcer la réponse légale se multiplient. 

En France, aussi récent soit le phénomène, les évolutions du droit visant à réduire les violences numériques s’appliquent déjà aux deepfakes pornographiques. La création, avec ou sans intelligence artificielle, d’une image à caractère sexuel sans le consentement de la personne concernée est ainsi passible de deux ans d’emprisonnement et 60 000 euros d’amende, et de trois ans et 75 000 euros d’amende si elle est diffusée sur un service de communication publique, selon le Code Pénal ¹⁸. 

Et pour obtenir un retrait rapide des images problématiques, l’avocat Alexandre Archambault indique ¹⁹ qu’il est aussi possible d’argumenter qu’il s’agit d’une infraction au droit à la vie privée au sens du Code civil ²⁰.

1. “Nth Room : des deepfakes comme arme d’exploitation sexuelle“, Synth, 4 juillet 2020 ↩︎
2. “The State of Deepfakes“, Deeptrace, septembre 2019 ↩︎
3. “The State of Deepfakes“, Security Hero, août 2023 ↩︎
4. “I was vomiting: Journalist Rana Ayyub reveals horrifying account of deepfake porn plot“, India Today, 21 novembre 2018 ↩︎
5. “La journaliste Salomé Saqué appelle à la régulation des deepfakes pornographiques“, Next, 12 décembre 2023 ↩︎
6. “Candidat À la présidentielle, il utilise un deepfake pour faire campagne“, Synth, 23 février 2022 ↩︎
7. “Yoon Suk-yeol, le président antiféministe qui veut ramener la Corée du Sud dans la “norme conservatrice“, France Info, 10 mai 2022 ↩︎
8. “South Korea police launch probe into whether Telegram abets online sex crimes, Yonhap reports“, Reuters, 2 septembre 2024 ↩︎
9. “Telegram supprime des contenus pornographiques en Corée du Sud à la suite d’une requête des autorités“, Pixel – Le Monde, 3 septembre 2024 ↩︎
10. “Les comptes « fisha » sur les réseaux sociaux, nouvelle plaie du cybersexisme“, Le Monde, 24 mai 2022 ↩︎
11. “Collégienne agressée à Montpellier : l’enquête révèle « un usage malveillant des réseaux sociaux », Ouest France, 12 avril 2024 ↩︎
12. “In S​outh Korea, Misogyny Has a New Weapon: Deepfake Sex Videos“, New York Times, 12 septembre 2024 ↩︎
13. “Deepfake porn crisis batters South Korea schools”, France 24, 10 septembre 2024 ↩︎
14. “South Korea investigates Telegram over alleged sexual deepfakes“, NPR, 6 septembre 2024 ↩︎
15. “Telegram : une épidémie de “deepfakes” pornographiques se déchaîne en Corée du Sud,” TV5 Monde, 28 août 202 ↩︎
16. “The State of Deepfakes“, Security Hero, 2023 ↩︎
17. “Deepfakes pornographiques : quand l’intelligence artificielle sert à humilier“, Next, 22 septembre 2023 ↩︎
18. Code pénal : Chapitre VI : Des atteintes à la personnalité (Articles 226-1 à 226-32) ↩︎
19. “Comment se défendre face au cyberharcèlement ? L’avocat Alexandre Archambault nous explique“, Next, 12 septembre 2024 ↩︎
20. Code civil : Titre Ier : Des droits civils ↩︎