Publications
Depuis quelques mois, la question de l’usage des IA Génératives en classe et pour les devoirs occupe tous les esprits dans les salles de profs. Comment détecter les copies rédigées à l’aide de ChatGPT ? Doit-on le faire ? Est-ce que les détecteurs d’IA fonctionnent réellement ?
À toutes ces questions auxquelles on peut répondre rapidement par « on ne peut pas », « non », et « 😂 » il s’agit d’ajouter le problème de la discrimination que ces détecteurs font peser sur les étudiants dont l’anglais n’est pas la langue maternelle. Une étude publiée récemment montre que les détecteurs courant comme GTPZero utilisent une caractéristique particulière des générateurs de texte pour déterminer l’authenticité des textes qui leur sont soumis. Et cette caractéristique a un nom, la perplexité. Il ne s’agit pas du sentiment troublant qui vous saisit à la lecture de ces lignes, mais de la difficulté qu’une IA générative a à prédire le mot suivant dans une phrase. Plus il est facile de prédire le mot (par exemple : « il est midi, on passe à table, j’ai faim) moins la perplexité est élevée. Plus c’est difficile, illogique ou grammaticalement faux (par exemple : « Après c’est quelques maux, j’ai dormi aux Galapagos) plus la perplexité est élevée.
Les modèles de langage produisent par défaut des textes dont la perplexité est — par design — relativement basse afin d’offrir un résultat générique et compréhensible par tous. C’est ce qui rend d’ailleurs les textes un peu plats et sans saveur. Pour un détecteur donc, un texte qui utilise un vocabulaire simple et accessible a donc de fortes chances pour être un texte généré par une IA.
UN BIAIS FATAL POUR LES LOCUTEURS ÉTRANGERS
Revenons à nos étudiants. Celles et ceux qui vivent à l’étranger maitrisent suffisamment la langue pour suivre un cours ou une conversation, mais n’ont pas toujours la richesse de vocabulaire de ceux qui maitrisent pleinement leur langue maternelle. Les devoirs écrits reflètent cette particularité et souvent les textes font preuve d’une plus grande simplicité dans leur structure et leur vocabulaire. Ce qui, pour un détecteur, est le signe d’un texte généré à l’aide d’une IA. En passant ces copies à la moulinette anti-triche, les enseignant·e·s détectent donc de faux positifs. Des devoirs injustement signalés comme faux alors qu’ils sont en réalité, écrits dans un contexte d’apprentissage linguistique. Les détecteurs posent donc problème à tel point, qu’OpenAI a décidé de retirer son service, reconnaissant qu’il n’était pas fiable.
La situation commence d’ailleurs à soulever tout un tas de protestations comme par exemple en Australie ou aux États-Unis. Pas de cas français pour le moment à déplorer. La détection des tricheurs est un exercice délicat et il ne s’agirait pas de nuire à la réputation des étudiants en se fiant aux conclusions d’un outil inefficace.
