Intelligence artificielle : robots tueurs de droits

Le 13 mars 2024, le Parlement européen a adopté une loi pour encadrer l'intelligence artificielle. C'est une avancée historique mais nous avons des réserves : la loi n'interdit pas l'exportation de ces technologies, elle donne la priorité aux intérêts financiers et elle n'inclut pas des principes essentiels pour protéger les droits humains. 

Il fait beau, ce 16 mai 2023, à Washington. Robert Weissman ajoute un point final à sa lettre ouverte, avant de la poster sur Internet. Cet avocat qui dirige le think tank citoyen Public Citizen interpelle les candidats démocrates et républicains à la présidence américaine. « Interdisez ! », supplie-t-il. Interdisez toute image produite par l’intelligence artificielle, ou vous découvrirez bientôt, en ligne, une vidéo de vous « en train de vous soûler » ou « d’accepter un pot-de-vin ».

Un mois plus tard, Donald Trump visionne le clip de campagne de son rival républicain, Ron DeSantis. Il s’y voit lui, en photo, embrassant le long nez d’Anthony Fauci, ex-Monsieur Covid de la Maison-Blanche, honni par la droite américaine. Trump en rougit, mais de colère : aucun humain n’a jamais photographié cette scène. Son adversaire a utilisé une intelligence artificielle (IA) pour la générer pixel par pixel. Weissman a vu juste. Avec cette technologie, n’importe qui peut créer un événement qui n’existe pas (deepfake) et s’en servir pour « influencer une élection » et « menacer le futur de nos démocraties ».

Douze jours après cette lettre ouverte, 1 100 experts mondiaux et inventeurs de l’IA, Elon Musk en tête, signent une mise en garde encore plus angoissée. Notre invention, expliquent-ils, automatise des tâches complexes et révolutionne la médecine, l’industrie, l’éducation… mais elle fait courir « un danger mortel » à l’humanité. L’IA « inonde nos canaux d’informations de propagande et de mensonges », elle s’apprête à « détruire des millions d’emplois », et pourrait même un jour « remplacer les humains ».

En mars 2019, des chercheurs de l’université privée espagnole IE se sont interrogés sur cette peur existentielle. Ils ont sondé 2 500 citoyens de huit pays européens : « Seriez-vous prêts à laisser des algorithmes gouverner à la place de vos hommes politiques ? » Lisons bien les réponses. Ont répondu « oui » 25 % des Français, 30 % des Allemands et 43 % des Néerlandais. En moyenne, un Européen sur quatre accepterait de laisser une IA diriger son pays ! On aurait tort de n’y voir qu’un rêve dystopique. Ce serait oublier les tentatives bien réelles de faire élire des IA.

Des robots candidats

Igor, appelons-le ainsi, habite à Moscou. L’hiver 2017, il se demande quel président il va élire au mois de mars : Vladimir Poutine, qui tente un quatrième mandat ? ou « Alisa », le robot candidat qu’un géant national de la tech, Yandex, a lancé dans la course pour challenger le Kremlin ? Igor pianote sur le site d’Alisa et entame un dialogue avec le robot. L’IA lui garantit qu’elle gouvernera à partir « de décisions rationnelles adoptées sur la base d’algorithmes clairs ». Déjà soutenue par 36 000 électeurs, elle se prétend guidée ni par l’argent ni par les émotions. Igor veut connaître son programme politique et rédige une question au clavier. « Que faut-il faire des ennemis du peuple ? » La réponse d’Alisa s’affiche après deux secondes de réflexion : « Il faut les abattre. » Alerté, Yandex coupe le courant à son IA stalinienne, puis s’excuse.

Mais l’illusion de gouverner « sans émotions » ne s’éteint pas avec Alisa. Quasiment chaque année sur la planète, un humain essaie d’installer une IA au pouvoir. Le Japonais Michihito Matsuda, 44 ans, présente à l’élection municipale de Tama (150 000 habitants), en avril 2018, un robot argenté aux courbes féminines. Michihito décrit une IA « incorruptible », capable d’analyser les besoins des gens et d’initier des politiques « objectives » et prétendument « sans erreurs ». 4 103 personnes – 9 % des électeurs – y croient et votent pour elle ! Mais c’est un humain qui remporte l’élection avec 34 603 voix.

L’été dernier, lors des législatives en Angleterre, l’avocat Andrew Gray propose un programme de gouvernement généré par Polis, une IA américaine en open source1. Polis reçoit les propositions politiques des citoyens et en fait « ressortir les convergences » afin de « refléter ce que veulent les électeurs ». Gray rêve que l’IA au pouvoir réconcilie le citoyen qui a cessé de voter avec son système politique.

Mais la délibération démocratique résiste encore : aucune IA n’a remporté une élection. À ceci près qu’en Asie, en Europe, ou aux Amériques, des algorithmes commencent vraiment à gouverner. Des États leur confient un pouvoir essentiel : celui d’administrer « rationnellement » la vie des citoyens. 

Aux commandes des administrations

Aux Pays-Bas2, Franciska Manuputty en fait l’expérience depuis quatorze ans. Cette femme de 49 ans élève seule deux enfants dans la ville d’Amsterdam. Elle a du mal à payer son loyer et vit sur les rations de l’aide alimentaire. En 2010, l’État lui écrit qu’elle a perçu indûment l’aide sociale à l’enfance et lui ordonne de rembourser 30 000 euros. La suspectant d’avoir triché dans ses demandes d’allocations, il lui coupe toutes les aides sociales et la contraint à s’endetter pour survivre. Sauf qu’il l’accuse à tort ! Pour détecter les fraudeurs aux aides sociales, l’administration a utilisé une IA qui juge la nationalité étrangère ou un bas revenu comme important facteur de risque. Et désigne automatiquement comme fraudeurs des profils de personnes immigrées ou pauvres. L’État enjoint à 35 000 personnes de rembourser des dizaines de milliers d’euros. Des milliers de familles s’endettent, vendent leur maison ou finissent à la rue. Après une série de divorces, plusieurs suicides et 1 675 enfants retirés aux parents qui ont perdu leurs ressources, le gouvernement démissionne en janvier 2021. Son successeur n’en finit pas, aujourd’hui, de compter les réparations à payer pour chaque vie détruite. Les indemnisations déjà accordées tournent autour d’un montant de 30 000 euros.

L’imperfection des IA prédictives a causé un autre drame en Espagne, il y a cinq ans. Le 14 février 2018, Itziar Prats, éducatrice, remet aux policiers de Castellón un enregistrement vocal de son ex-mari, Ricardo, qui menace de la tuer, elle et ses filles de 6 et 3 ans. « Nom. Prénom. Profession ? » Un policier questionne la mère et envoie ses réponses à VioGen, une IA qui « calcule le risque de récidive dans la violence sexiste ». Ricardo, répond VioGen, affiche un risque « faible ». Les policiers suivent son avis et refusent la demande d’Itziar d’interdire à ce père d’approcher les enfants. Sept mois plus tard, Ricardo s’arme d’un couteau, tue les fillettes et se jette du sixième étage. Itziar Prats a porté plainte contre les ministères de la Justice et de l’Intérieur, pour avoir négligé la gravité de ses alertes. L’affaire n’est pas jugée. Mais depuis le drame, la police espagnole utilise une version de VioGen améliorée dans son évaluation des scores de risques.

« Vous saisissez ce qui cloche ? Les policiers ont écouté l’algorithme ! » Marius Bertolucci, de l’université d’Aix-Marseille, écrit sur les dangers d’une humanité qui se laisserait piloter par les IA3. Il nous explique ce qu’il retient de ce drame. « Les policiers ont écouté l’algorithme et non la femme. Ils ont délégué toute leur responsabilité, tout leur jugement à une machine. De plus en plus d’études confirment ce dangereux travers humain : lorsque l’homme utilise une IA, sa tentation la plus commune est de s’en remettre à elle et de se déresponsabiliser. » Au risque de la laisser commettre une erreur inhumaine ou catastrophique. C’est pourtant une voie empruntée par de plus en plus de services publics dans de nombreux pays. Y compris par l’administration la plus à même de priver une personne de ses droits : la justice pénale.

Une justice algorithmique

Aux États-Unis, des juges de Floride, d’Arizona ou du Colorado se font aider par une IA pour cal­culer le risque qu’un prisonnier commette, dans le futur, un nouveau délit. Problème : une enquête de ProPublica a démontré en 2016 que cette IA prédictive était mal programmée par la société Northpointe. Elle désignait deux fois plus les accusés noirs comme de futurs criminels que les accusés blancs, y compris ceux qui ne récidivaient pas. En conséquence, les juges étaient poussés, mécaniquement, à refuser aux personnes noires des libérations conditionnelles.

Des IA commencent à remplacer des magistrats. À Pékin et à Hangzhou, en Chine, un juge robot en hologramme traite en ligne des litiges civils 24 heures sur 24. Il questionne les plaignants, enregistre des preuves et rédige des jugements. En Colombie, au mois de janvier, puis en Bolivie en avril, deux juges – réels – ont utilisé ChatGPT dans des affaires civiles pour écrire leur argumentation et condamner des hommes à de fortes amendes. ChatGPT, le fameux robot conversationnel qui répond à toutes les questions. Celui que l’avocat américain Steven Schwartz a questionné, en mai, pour défendre l’employé d’une compagnie aérienne blessé par un chariot à cause de la négligence d’un collègue. « Liste-moi, a demandé Schwartz, les décisions judiciaires justifiant nos poursuites. » L’IA lui a sorti six jugements qui n’existent pas dans l’histoire du droit. Aucun. Nulle part.

Les chiens de garde de l’IA

Inquiets de ces dérives, les députés du Parlement européen ont décidé de rédiger une loi qui empêche l’IA de nuire aux droits humains. Les discussions ont commencé il y a trois ans. Objectif ? Interdire les IA qui manipulent les comportements humains. Celle de Midjourney, par exemple, avec laquelle des militants de l’extrême droite allemande AfD ont fabriqué la fausse image d’un migrant du Sud au visage déformé par une rage incontrôlable, puis d’une femme blonde au visage ensanglanté. Une IA qui, selon le Conseil de l’Europe, « amplifie des discours de haine » et « contribue à la montée du populisme et à la polarisation des sociétés démocratiques ». Interdire toute IA de notation citoyenne. Celle qui calcule, pour une personne, un « risque de récidive », un « score de suspicion », ou instaure un « crédit social » à la chinoise. Interdire les IA répressives. Celles d’Idemia ou de BriefCam, qui permettent à des caméras d’analyser le visage, le comportement, l’émotion ou le mouvement des personnes dans l’espace public. Et encouragent un contrôle policier permanent, conditionnant chacun à rester sage.

Le Parlement européen et le Conseil de l’Union européenne ont débattu autour de ces interdictions, de longues journées. Le 9 décembre au matin, les médias français publiaient une avalanche de titres enthousiastes : « Après trois jours de débats, l’Union européenne s’est accordée sur une législation pour réguler l’IA » (TF1, 09/12/2023). « IA Act : une bonne nouvelle » (Radio France, 12/12/2023). « L’UE pionnière dans la régulation de l’IA » (Le Monde, 09/12/2023).

À Paris, Katia Roux est chargée de plaidoyer à Amnesty International France. À la lecture de ces titres, elle s’étonne. « Les négociateurs européens se félicitent d’avoir trouvé un accord politique, mais, nous, on est déçus. L’IA Act est en recul par rapport à ce que proposait le Parlement européen. Il n’interdit pas l’identification biométrique à distance : il autorise les polices européennes à utiliser des caméras de détection des émotions et de reconnaissance faciale en cas de menace terroriste ou de crime, et c’est large… » Elle cite quand même une bonne nouvelle : « La notation sociale, telle qu’utilisée en Chine, sera proscrite dans l’Union européenne. Ça, on s’en félicite. » Mais qu’à moitié : « Les technologies interdites au sein de l’UE pourront toujours être exportées vers le reste du monde ! » C’est pourquoi le texte signe à ses yeux « une incroyable occasion manquée, celle de réguler des systèmes d’IA dangereux pour les droits humains et de protéger les populations les plus exposées ».

Depuis l’accord politique de décembre, les eurodéputés ont ajouté au texte des paragraphes élargissant les possibilités d’avoir recours à la reconnaissance faciale. Ils prévoient de voter sa version finale au printemps, et l’IA Act s’appliquera à partir de 2026. Dans l’attente, 155 organisations internationales, incluant Amnesty International, défendent l’urgence de « remettre en avant les droits fondamentaux ».

Selon ces ONG, aucune IA ne doit être utilisée pour prédire le risque qu’une personne commette un crime ou une fraude. Aucune IA ne doit être employée pour épier chaque geste d’un humain ou décrypter sur son visage une intention cachée. Aucune IA ne doit servir à désigner qui peut être surveillé ou sorti de prison. Ni choisir qui peut être accueilli ou bloqué à une frontière.