Quand les algorithmes antifraude renforcent les inégalités sociales

EN UN COUP D’OEIL

• Des biais inquiétants : Les algorithmes ciblent injustement les femmes, les personnes vulnérables et les minorités, aggravant leur exclusion sociale.
• Opacité persistante : En dépit des lois, le manque de transparence sur leur coût et leur efficacité limite tout débat démocratique.
• L’Europe en alerte : De la France aux Pays-Bas, des scandales illustrent les dérives et la nécessité urgente de garde-fous.

Les systèmes algorithmiques de lutte contre la fraude sociale se répandent en Europe, quand bien même les preuves de leurs effets négatifs sur des populations déjà vulnérables se multiplient.

Mi-octobre, quinze associations attaquaient ¹ l’algorithme de la Caisse Nationale des Affaires Familiales (la CNAF, qui chapeaute les CAF, caisses d’allocations familiales) devant le Conseil d’État. Dans leur viseur ? Un système utilisé depuis 2010, sous différentes versions, pour détecter des erreurs de paiement d’allocations, mais dont l’emploi se traduit sur le terrain par des contrôles répétés chez certains allocataires.

Auprès du Conseil d’État, Amnesty International, la Quadrature du Net, Changer de Cap et leurs partenaires contestent donc plusieurs éléments : l’usage inapproprié d’un système de détection d’erreurs de paiement pour lutter contre ce qui est qualifié de fraude. Et la propension qu’a ledit système à discriminer les personnes handicapées, les plus pauvres et les femmes à la tête de familles monoparentales en les soumettant à des contrôles accrus par rapport aux autres bénéficiaires d’allocations.

L’affaire n’a rien d’anodin. Au fil des ans, de plus en plus de systèmes algorithmiques sont déployés dans les instituions publiques. En France comme ailleurs, le procédé se fait de manière relativement opaque, malgré les obligations de transparence fixées par le Code des relations entre le public et l’administration. Au point que la Défenseure des droits se soit inquiétée, dans un récent rapport ², du respect des droits des usagers,

Si les travaux de l’informaticienne Cathy O’Neill ³, de la politiste Virginia Eubanks ⁴ ou du sociologue Vincent Dubois ⁵ ont régulièrement documenté les risques de ces systèmes, ces derniers n’ont pas cessé d’être déployés dans des administrations de tous les pays, entraînant leur lot de difficultés pour les bénéficiaires d’aides publiques.

Multitude d’exemples européens

Le cas le plus emblématique a peut-être eu lieu aux Pays-Bas, qui épongent encore les restes du scandale provoqué par les modalités de gestion des fraudes aux allocations familiales employées de 2013 à 2019. En s’appuyant sur les résultats d’un algorithme censé automatiser le processus, l’institution a plongé des milliers de familles dans la détresse ⁶ en leur réclamant des sommes faramineuses, au point, ensuite, de leur retirer plusieurs milliers d’enfants pour les placer ⁷, à la suite des difficultés financières provoquées. Le rapport parlementaire qui a révélé le fonctionnement du système a démontré que les mères d’origine étrangère étaient plus fréquemment ciblées par la machine. En 2021, le gouvernement local a démissionné ⁸ à la suite de la révélation des faits.

Au Royaume-Uni, l’ONG Big Brother Watch a produit ⁹ une cartographie des systèmes de lutte contre la fraude utilisés par les services publics locaux. Elle critique notamment l’usage d’outils de vérification des risques fabriqués par des sociétés comme Xantura ou TransUnion, qui fonctionnent peu ou prou comme ceux de la CAF française : plus la note de risque est élevée, plus les preuves demandées par l’institution pour prouver qu’il n’y a pas eu de fraude sont « invasives ».

Au Danemark, Amnesty International relève ¹⁰ que l’organisme de protection sociale Udbetaling Danmark (UDK) utilise soixante modèles algorithmiques différents pour détecter les fraudes aux prestations sociales. Parmi les données utilisées dans ces machines (construites par l’entreprise Arbejdsmarkedets Tillægspension – ATP) : la citoyenneté, le lieu de résidence, des informations sur le statut de résidence. Pour l’ONG, le recours à ces systèmes risque de se traduire par « une discrimination à l’égard des groupes racisés marginalisés et des personnes en situation de handicap, à faible revenu, migrantes ou réfugiées ».

Affaire similaire en Serbie, où le processus d’attribution des aides sociales a été automatisé par une loi de mars 2022. Si le gouvernement avait présenté le texte comme une manière de rendre plus juste la fourniture d’aides sociales, Amnesty International constatait ¹¹ en 2023 qu’elle avait eu l’effet inverse, excluant ¹² des milliers de personnes pour lesquelles la protection sociale représentait la seule source de revenus des programmes en question.

Efficacité réelle inconnue

La liste pourrait continuer régulièrement tant la tendance à l’automatisation est lourde, et tant la probabilité que les systèmes déployés reproduisent, voire amplifient des biais existants est grande. Ce qu’il manque, pointent de multiples acteurs, ce sont des garde-fous. Et pour savoir où les placer et comment, de la transparence.

Début 2023, El Condifencial démontrait ¹³ par exemple que la Sécurité Sociale utilisait depuis 2018 des outils algorithmiques à l’efficacité débattue pour (encore une fois) « lutter contre la fraude ». En pratique, l’Institut National de Sécurité Sociale (INSS) espagnole a acheté à la multinationale SAS Institute une série d’outils, dont un système d’apprentissage profond dédié à analyse les dossiers de patients en arrêt de travail pour vérifier s’ils se sont bien rendus aux rendez-vous médicaux qu’ils doivent honorer, et s’ils sont encore en droit de recevoir les prestations qui leur sont versées.

Le coût des ces outils et leurs résultats effectifs sont autant d’éléments qui manquent pour permettre au plus grand nombre d’évaluer l’efficacité réelle d’outils payés avec de l’argent public. Si le montant de 1,5 million d’euros dépensé par l’INSS auprès de SAS Institute est désormais public, les données relatives aux volumes de fraude effectivement constatés et récupérés par l’administration espagnole restent inconnues.

Pour convaincre les pouvoirs publics d’acheter leurs solutions, les fournisseurs de systèmes algorithmiques avancent de leurs côtés des chiffres régulièrement exagérés. En matière de fraude aux aides sociales, leurs estimations grimpent ainsi jusqu’à 5 % des dépenses publiques, relève par exemple Lighthouse Reports ¹⁴, alors que des experts d’administrations nationales les chiffrent entre 0,2 et 0,4 % des dépenses.

Algorithmes de dé-gouvernement ?

En France, un argument régulièrement avancé par les associations de protection des droits des allocataires concerne d’ailleurs la priorisation des luttes. En effet, les montants de fraudes aux prestations sociales détectées en 2023 étaient 13 fois inférieurs ¹⁵ à ceux de la fraude fiscale. Quant aux montants estimés, ils seraient deux fois supérieurs du côté de la fraude aux cotisations sociales que de celle aux prestations sociales, et plus de trente fois supérieures du côté de la fraude fiscale.

Cela dit, ouvrir le débat sur le type d’aides sociales et de lutte contre la fraude les plus efficaces requière une volonté politique et une recherche de discussions partagées que les promesses d’efficacité et d’hypersonnalisation algorithmique participent à décourager. C’est du moins la thèse de la juriste Antoinette Rouvroy, qui qualifie ¹⁶ ces systèmes de machines à « dé-gouverner, c’est-à-dire de ne plus prendre de décision vis-à-vis de ce sur quoi on a besoin de prendre des décisions communes ».

Pour pallier cette opacité qui empêche le débat, donc les décisions politiques, signalons tout de même qu’en France, trois expertes du sujet ¹⁷ viennent de créer un Observatoire des algorithmes publics ¹⁸. Leur but : cartographier la variété des algorithmes déployés au sein des services publics, pour faciliter la demande d’information sur le coût et l’efficacité réels de toute cette machinerie, et la responsabilisation de ceux qui la déploient. 

1. France : l’algorithme de la Caisse nationale des allocations familiales cible les plus précaires, Amnesty International, 16 octobre 2024 ↩︎
2. Les droits des usagers des services publics face aux algorithmes et aux systèmes d’IA : points de vigilance et recommandations de la Défenseure des droits, Défenseurs des droits, 13 novembre 2024 ↩︎
3. Algorithmes, la bombe à retardement, Les Arènes, 2018 ↩︎
4. Automating Inequality, 2018, non traduit ↩︎
5. Contrôler les Assistés, Raisons d’Agir, 2021 ↩︎
6. Dutch scandal serves as a warning for Europe over risks of using algorithms, Politico, 29 mars 2022 ↩︎
7. More than 1,100 children of victims of the benefits scandal were removed from their homes, de Volkskrant, 19 octobre 2021 ↩︎
8. Pays-Bas : un scandale sans précédent fait chuter le gouvernement, 15 janvier 2021, Les Échos ↩︎
9. Big Brother Watch ↩︎
10. Denmark: Coded Injustice: Surveillance and Discrimination in Denmark’s automated welfare state, Amnesty International, 12 novembre 2024 ↩︎
11. Serbia: Trapped by automation: Poverty and discrimination in Serbia’s welfare state, Amnesty International, 4 décembre 2023 ↩︎
12. Europe : les algorithmes des systèmes de protection sociale ciblent les plus précaires, Amnesty International, 16 octobre 2024 ↩︎
13. La Seguridad Social usa una IA secreta para rastrear bajas laborales y cazar fraudes, El Confidencial, 17 avril 2023 ↩︎
14. Suspicion Machines, Lighthouse report, 2 mars 2023 ↩︎
15. La fraude fiscale surpasse la fraude sociale, Statista, 2 octobre 2024 ↩︎
16. Entretien avec Antoinette Rouvroy : big data et IA, une manière de ne pas gouverner ?, Next, 26 juin 2024 ↩︎
17. IA : la Défenseure des droits veut plus de transparence des administrations publiques, Next, 15 novembre 2024 ↩︎
18. L’observatoire des algorithmes publics (ODAP) ↩︎