Pays-Bas. Scandale des allocations familiales : un avertissement qui montre l’urgence d’interdire les algorithmes racistes

Le gouvernement néerlandais risque d’aggraver la discrimination raciale en continuant à utiliser des algorithmes non réglementés dans le secteur public, a déclaré Amnesty International dans un nouveau rapport accablant, où elle analyse l’affaire scandaleuse des allocations familiales aux Pays-Bas.

Intitulé Xenophobic Machines (« Les machines xénophobes »), ce rapport montre que des critères relevant du profilage racial ont été intégrés lors de l’élaboration du système algorithmique utilisé pour déterminer si des demandes d’allocations familiales devaient être considérées comme erronnées et potentiellement frauduleuses. En conséquence, des dizaines de milliers de parents et de personnes ayant la charge d’enfants, appartenant pour la plupart à des familles à faibles revenus, se sont vu accuser à tort de fraude par les autorités fiscales néerlandaises, les membres de minorités ethniques étant touchés de manière disproportionnée. Si ce scandale a fait tomber le gouvernement néerlandais en janvier, les enseignements qui en ont été tirés restent insuffisants, malgré de nombreuses enquêtes.

Partout dans le monde, les État s’empressent d’automatiser la prestation de services publics, mais ce sont les catégories les plus marginalisées de la société qui en subissent les plus lourdes conséquences

Merel Koning, conseillère principale sur les technologies et les droits humains à Amnesty International

« Des milliers de vies ont été détruites par un dispositif indigne, employant un algorithme xénophobe fondé sur le profilage racial. Les autorités néerlandaises risquent de reproduire cette erreur dramatique, car l’utilisation de systèmes algorithmiques n’est toujours pas encadrée par des garanties en matière de droits humains », a déclaré Merel Koning, conseillère principale sur les technologies et les droits humains à Amnesty International.

« Il est extrêmement préoccupant de constater que les Pays-Bas ne sont pas une exception. Partout dans le monde, les État s’empressent d’automatiser la prestation de services publics, mais ce sont les catégories les plus marginalisées de la société qui en subissent les plus lourdes conséquences. »

Amnesty International appelle tous les gouvernements à interdire immédiatement l’utilisation de données sur la nationalité et l’origine ethnique lors de l’attribution de cotes de risque à des fins d’application de la loi pour tenter de détecter des auteurs présumés d’infraction ou de fraude.

Des milliers de vies ont été détruites par un dispositif indigne, employant un algorithme xénophobe fondé sur le profilage racial

Merel Koning

Une boucle discriminatoire

Dès le début, la discrimination raciale et ethnique a joué un rôle central dans l’élaboration du système algorithmique introduit en 2013 par l’administration fiscale néerlandaise pour détecter les demandes erronnées et potentiellement frauduleuses d’allocations familiales. Les autorités fiscales des Pays-Bas ont utilisé le critère de la nationalité des personnes qui formulaient les demandes pour déterminer un facteur de risque, les ressortissants d’autres pays se voyant attribuer une cote de risque plus élevée.

Les parents et autres personnes ayant la charge d’enfants qui ont été désignés par le système ont vu leurs allocations suspendues et ont été soumis à des investigations agressives, caractérisées par des méthodes très dures, à une interprétation stricte de la législation, ainsi qu’à une politique impitoyable de recouvrement des allocations versées. En conséquence, les familles concernées ont eu des problèmes financiers dramatiques, allant de l’endettement au chômage en passant par l’expulsion, car les gens ne pouvaient plus payer leur loyer ou rembourser leurs prêts. D’autres personnes ont été confrontées à des problèmes de santé mentale et à des tensions dans leurs relations personnelles, qui ont abouti à des divorces et à l’éclatement des familles.

L’algorithme était conçu de telle façon qu’il renforçait un préjugé institutionnel existant, établissant un lien entre la « race » ou l’origine ethnique et la criminalité et attribuant un type de comportement à un groupe racial ou ethnique tout entier.

Ces défauts de conception discriminatoires ont été reproduits par un mécanisme d’apprentissage automatique, ce qui signifie que l’algorithme s’est adapté au fil du temps en s’appuyant sur l’expérience acquise, sans réelle supervision humaine. Cela a abouti à une boucle discriminatoire, dans laquelle les non-ressortissants étaient considérés comme des fraudeurs potentiels plus fréquemment que les titulaires de la nationalité néerlandaise.

Non-respect de l’obligation de rendre des comptes

Lorsque le système signalait un fraudeur potentiel, un fonctionnaire devait procéder à une analyse manuelle, mais sans recevoir aucune information sur les raisons pour lesquelles la cote de risque indiquée était plus élevée. L’opacité de ce système de « boîte noire », dans lequel les données d’entrée et les calculs sont invisibles, a donné lieu à un non-respect de l’obligation de rendre des compte et à une absence de surveillance.

« Le système de boîte noire a abouti à un trou noir en matière de responsabilité, l’administration fiscale néerlandaise se reposant sur un algorithme pour l’aider à prendre des décisions, sans procéder à une surveillance en bonne et due forme », a déclaré Merel Koning.

Par un effet pervers, les autorités fiscales étaient incitées à saisir le plus de fonds possible, indépendamment de la véracité des accusations de fraude, car elles devaient prouver l’efficacité du système de prise de décision algorithmique. Pendant des années, les parents et personnes ayant la charge d’engants que l’administration fiscale avait identifiés comme des fraudeurs n’ont obtenu aucune réponse quand ils demandaient ce qu’ils avaient fait de répréhensible.

Les conclusions du rapport Xenophobic Machines seront présentées le 26 octobre, lors d’un événement en marge de l’Assemblée générale des Nations unies consacré à la discrimination algorithmique. Cette année, Amnesty International lance un Algorithmic Accountability Lab – une équipe multidisciplinaire chargée de mener un travail d’investigation et de campagne sur les risques que présentent, en matière de droits humains, les systèmes automatisés de prise de décision dans le secteur public.  Amnesty International appelle les gouvernements à : 

• prévenir les violations des droits humains liées à l’utilisation de systèmes automatisés de prise de décision, notamment en instituant une évaluation obligatoire et contraignante des répercussions de ces systèmes sur les droits humains avant leur déploiement ;
• mettre en place des systèmes efficaces de contrôle et de surveillance des systèmes algorithmiques dans le secteur public ;
• amener les responsables présumés de violations à rendre des comptes et offrir un recours utile aux personnes et aux groupes dont les droits ont été bafoués ;
• ne plus utiliser de boîtes noires et d’algorithmes d’apprentissage automatique lorsque la décision risque d’avoir des répercussions importantes sur les droits des personnes.

The post Pays-Bas. Scandale des allocations familiales : un avertissement qui montre l’urgence d’interdire les algorithmes racistes appeared first on Amnesty International.