Une collecte de données plus éthique?

Les systèmes algorithmiques sont partout. Du tri des CV à la recommandation de contenus, en passant par le calcul d'itinéraires, l'intelligence artificielle (IA) s'immisce dans notre quotidien. Mais cette omniprésence soulève une question épineuse : celle des biais algorithmiques. Un problème qui ne date pas d'hier dans le développement de l'IA, mais qui prend une ampleur inquiétante.

Les biais algorithmiques, c’est quoi ? En gros, c’est quand les données utilisées pour entraîner une IA sont biaisées, ce qui conduit à des résultats injustes pour certains groupes. Et les exemples ne manquent pas : outils de recrutement¹², systèmes de reconnaissance faciale³, algorithmes de détermination des peines⁴⁵… Autant de domaines où ces biais se manifestent.

Le hic, c’est que ces biais touchent surtout les communautés déjà marginalisées. Les personnes de couleur, les communautés LGBTQIA+⁶ et les femmes en font les frais. Du coup, non seulement ces systèmes discriminent, mais en plus, ils renforcent les inégalités existantes.

La collecte de données démographiques : une arme à double tranchant

Pour lutter contre ces biais, les entreprises collectent souvent des données démographiques. L’idée ? Évaluer les performances de leurs systèmes selon différents groupes. Prenons l’exemple d’une boîte qui utilise un algorythme pour trier les CV. Pour détecter les biais, elle pourrait demander aux candidats de remplir un questionnaire sur leur profil démographique.

Mais voilà, cette collecte de données sensibles peut aussi causer du tort⁷. Imaginez que le questionnaire ne propose que deux options de genre comme c’est traditionnellement le cas aujourd’hui dans bien des cas. Les candidats trans ou non-binaires sont exclus, masquant les biais potentiels à leur encontre. Ou pire, que ces données soient utilisées à d’autres fins sans consentement, ou qu’elles fuient. Bref, c’est la quadrature du cercle : il faut ces données pour lutter contre les discriminations, mais leur collecte peut elle-même être source de problèmes.

Vers un cadre éthique pour la collecte de données

Face à ce dilemme, des chercheurs ont travaillé sur des lignes directrices pour une collecte de données démographiques plus éthique. Leur but ? Aider les développeurs d’IA à collecter et utiliser ces données de manière à répondre aux besoins des personnes concernées, surtout celles les plus à risque.

Ces lignes directrices s’appuient sur un concept clé : la justice des données. L’idée, c’est que chacun a le droit de choisir comment il est représenté dans un jeu de données.

Quatre principes en découlent :

1. Priorité à l’auto-identification : laissez les gens choisir comment ils veulent être représentés.
2. Co-définition de l’équité : impliquez les communautés dans la définition de ce qui est “juste”.
3. Consentement affirmatif, éclairé et continu : assurez-vous que les gens comprennent vraiment à quoi ils disent oui.
4. Analyse basée sur l’équité : concentrez-vous sur les besoins des groupes les plus à risque.

Mise en pratique

Concrètement, ces lignes directrices couvrent tout le cycle de vie des données démographiques. À chaque étape, elles identifient les risques, proposent des pratiques recommandées et posent des questions pour guider les équipes.

L’implication des communautés est cruciale. Il ne s’agit pas juste de collecter des données, mais de travailler main dans la main avec les personnes concernées. C’est comme ça qu’on peut espérer construire des systèmes d’IA vraiment inclusifs et pertinents pour tous.

Les données peuvent nous donner une image plus riche et inclusive du monde. Mais pour y arriver, il faut mettre en place les bons garde-fous. Ces lignes directrices sont un pas dans la bonne direction, mais le travail ne fait que commencer. Comment s’assurer que ces recommandations soient vraiment mises en pratique à grande échelle ? Et comment concilier l’impératif de protection des données personnelles avec le besoin de lutter contre les discriminations algorithmiques ?

1. “AI hiring tools may be filtering out the best job applicants“, BBC 16 Février 2024 ↩︎
2. “Why it’s totally unsurprising that Amazon’s recruitment AI was biased against women” Business insider, 13 octobre 2018 ↩︎
3. “How facial-recognition app poses threat to privacy, civil liberties“, The Harvard Gazette, 26 octobre 2023 ↩︎
4. “Artificial Intelligence and Judicial Bias, center for law and policy research“, 28 octobre 2021 ↩︎
5. “Machine Bias“, ProPublica, 23 mai 2016 ↩︎
6. “Why AI Needs Queer Technologists & How To Get Involved“, 6 juillet 2023 ↩︎
7. “Fairer Algorithmic Decision-Making and Its Consequences: Interrogating the Risks and Benefits of Demographic Data Collection, Use, and Non-Use“, PAI 2 décembre 2021 ↩︎