Néo-nazis sur TikTok : L’algorithme amplifie un fléau viral

Sur TikTok, des vidéos néonazies font des millions de vues, promues par l’algorithme de la plateforme. Comment les groupes d’extrême droite contournent-ils la modération pour recruter et diffuser leur idéologie ? Une étude détaille le phénomène qui se joue des règles et des algorithmes.

Depuis plusieurs mois, une tendance nauséabonde gagne en popularité sur TikTok : des vidéos glorifiant Adolf Hitler et promouvant l’idéologie nazie engrangent des millions de vues. Ce phénomène, baptisé NazTok par les chercheurs de l’Institute for Strategic Dialogue (ISD) basé à Londres révèle une problématique inquiétante : non seulement TikTok échoue à modérer ce type de contenus, mais son algorithme semble même les promouvoir auprès des plus jeunes. L’étude montre comment des groupes néonazis exploitent la plateforme pour recruter et diffuser leur idéologie, contournant les mécanismes de modération avec des outils comme l’intelligence artificielle.

Un phénomène massif

Publiée en juillet 2024, l’étude de l’ISD s’appuie sur l’analyse de plus de 200 comptes pronazis actifs sur TikTok, dont certains cumulent près de 6 millions de vues. Elle montre que ces contenus ne sont pas limités à des vidéos historiques mal contextualisées (des discours d’Adolf Hitler², traduits par IA et souvent associés à des montages de propagande), mais aussi près de 1200 vidéos glorifiant le massacre de Christchurch qui avait couté la vie à 51 membres de la communauté musulmane. Ces contenus sont parfois proposés par l’algorithme après seulement quelques interactions avec des contenus similaires. Nombre de ces contenus ont été générés par IA pour caricaturer et déshumaniser des groupes de population racisés ou promouvoir des thématiques antisémites³.

L’étude met également en avant l’implication directe de l’algorithme de TikTok dans l’amplification des contenus haineux. Imaginé pour capturer l’attention des utilisateurs en les engageant avec des contenus similaires à ceux déjà visionnés, le système de recommandation devient un véritable accélérateur d’extrémisme. Les chercheurs ont démontré qu’après avoir visionné seulement trois vidéos sur des thématiques proches de l’extrême droite, de nouveaux utilisateurs voyaient apparaître des contenus pronazis dans leur fil d’actualité. D’autres techniques de langage codé ou d’évocation détournées de codes hérités du régime nazi permettent de passer les règles de modérations.

Une modération à la ramasse

TikTok et d’autres plateformes semblent toujours incapables d’enrayer efficacement la propagation de ces contenus. Bien que la plateforme dispose de plus de 40 000 modérateurs à travers le monde, le défi reste immense : les contenus haineux, souvent dissimulés sous des codes ou des formats obliques (par exemple, des musiques ou des émoticônes spécifiques), échappent à la vigilance humaine et aux IA de modération.

1. NazTok: An organized neo-Nazi TikTok network is getting millions of views, ISD, 29 Juillet 2024 ↩︎
2. An AI-altered Hitler speech is going viral on X, Wired, 11 mars 2024 ↩︎
3. Beyond Hitler and Mussolini: TikTok and the Adoration of Minor Fascist Ideologues, Global Network on Extremism & Technology, 1er juillet 2024 ↩︎