Publications
Un quart des européens votent pour des mouvements politiques identitaires. Si les populations deviennent racistes ou xénophobes, par quel miracle ChatGPT ne serait pas raciste ou xénophobe ? À quand des saluts fascistes dans chaque image générée d’Elon Musk ?
If it looks like a duck, swims like a duck, and quacks like a duck, then it probably is a duck. 1
On voit fleurir de nombreux exemples de textes générés par des systèmes d’IA qui sont subtilement racistes. Certains laissent de côté la subtilité et méritent le caniveau. Les exemples pullulent. Ces réponses intolérantes ou racistes sont une bonne occasion de parler de biais.
On entend souvent des semi-comprenants médiatiques ou d’autres sophistes parler de biais. Ces sorties racistes des programmes et agents seraient des biais statistiques. Comprenez qu’ils seraient évitables ou qu’on pourrait les corriger. Qui ? Comment ? Et surtout pourquoi ? Dans quel contexte ? Pour qui ? Ah, des questions.
Il y a un sujet technique et un sujet éthique, social et/ou politique. Juger qu’un texte est problématique n’est valable que dans un contexte donné. Un écolier français qui dirait que “les hommes ne naissent pas libres et égaux en droits” serait désigné volontaire pour une discussion sur la fraternité et la tolérance. Un adulte aussi, d’ailleurs, mais il serait trop tard. En France, oui. Dans un autre pays, peut-être pas. Ça dépend du contexte de celui qui reçoit le texte.
Un programme n’est pas un humain. Il n’a que faire du contexte. Il exécute un code, point. Dans le cas d’un agent conversationnel type ChatGPT, le programme assemble des mots selon un contexte fourni par l’utilisateur, en appliquant des règles logiques internes. Ces règles ont pu être conçues directement par l’équipe de développement, ou suite à une procédure d’apprentissage. Cet apprentissage est généralement réalisé à partir d’un traitement systématique et complexe de vastes quantités de textes. ChatGPT et les différents modèles de langages (LLM) sont construits ainsi. J’en ai parlé ici 2 et là 3.
La question demeure. Pourquoi les textes racistes générés par un agent nous dérangent ? Parce que cet agent exploite un mécanisme bien connu en IA, identifié à la fin des années 1960 par J. Weizenbaum (ELIZA, 1966). Le fond de l’affaire est que l’humain a tendance à sur-interpréter les textes générés par un ordinateur, résume Douglas Hofstadter en 1986. Ce mécanisme joue à plein avec ChatGPT. Je renvoie à la page Wikipedia associée, ELIZA effect 4et à un essai intéressant sur le sujet : From Joseph Weizenbaum to ChatGPT 5.
If it looks like a duck and quacks like a duck but it needs batteries, you probably have the wrong abstraction.
ChatGPT écrit bien. ChatGPT montre souvent un comportement intelligent. Mais l’intelligence d’un modèle de langage n’a foncièrement rien à voir avec une intelligence humaine. Un humain qui se comporterait comme ChatGPT pourrait, parfois, être qualifié d’idiot. Parfois qualifié de génie. Un programme n’est pas comparable à un humain, ni à un autre système biologique. Un programme n’est responsable de rien, un programme ne prend pas de décision. Il exécute une tâche pour laquelle il a été programmé. Penser autrement est une erreur.
Que penser alors d’un programme qui génère des textes racistes ? Tout simplement qu’il a été entraîné en partie avec des textes racistes. Qui a écrit ces textes ? Très probablement des humains (quoique). Il est donc probablement faux de parler de biais car le programme reproduit ce qu’il a appris.
Puisque le poids des mouvements racistes ou intolérants dans l’opinion publique n’est pas négligeable, il semble naturel que les textes fournis aux systèmes génératifs reflètent cette situation. Je trouve que c’est regrettable, mais si des motifs moisis sont présents dans les données d’entraînement, alors ces motifs moisis seront aussi dans les sorties. This is not a bug, this is a feature 6.
Parler de biais au sens statistique est donc une profonde erreur d’interprétation.
Je n’aborderai pas la question de la correction de ces éventuels, ou probables motifs moisis présents dans les données d’entraînement : là, on introduirait un biais ! Un biais que je jugerais bénéfique et souhaitable s’il permet de ne pas générer des textes racistes, certes, mais un biais.
ChatGPT est-il un gros con raciste ? Vu la tendance politique actuelle mondiale, il serait plutôt étonnant que ChatGPT ne devienne pas un gros con raciste.
- S’il ressemble à un canard, s’il nage comme un canard et s’il jacasse comme un canard, il s’agit probablement d’un canard. https://en.wikipedia.org/wiki/Duck_test ↩︎
- https://algonaute.fr/fr/ia_marseille.html ↩︎
- https://algonaute.fr/fr/chatgpt-et-moi.html ↩︎
- https://en.wikipedia.org/wiki/ELIZA_effect ↩︎
- https://ojs.weizenbaum-institut.de/index.php/wjds/article/view/136/92 ↩︎
- Ce n’est pas d’un bogue, mais d’une fonctionnalité. ↩︎
