Quand l'IA se trompe : une femme condamnée à tort par la reconnaissance faciale

Imaginez : vous rentrez d’un dîner entre amis, un peu fatiguée, quand soudain pouf — la police vous arrête. Motif ? Un algorithme vous a "reconnue" comme une criminelle. Sauf que… vous n’avez rien fait. C’est exactement ce qui est arrivé à Randi, une Américaine de 53 ans, qui a passé cinq mois en prison à cause d’une IA défaillante.

On est loin des promesses marketing des géants de la tech, qui nous vendent des outils "ultra-précis" et "100% fiables". La réalité ? L’IA se plante. Grave. Et quand elle se plante, ce sont des vies qui basculent.

---

L’IA, ce juge invisible (et un peu nul)

Commençons par le début : comment une machine peut-elle envoyer quelqu’un en prison ?

En théorie, la reconnaissance faciale fonctionne comme un super jeu de memory. L’algorithme compare votre visage à une base de données de photos (souvent des mugshots de criminels). S’il trouve une "correspondance", il balance un signal aux flics : "Hey, cette personne ressemble à 98% à la voleur de bijoux de Detroit !"

Sauf que dans la vraie vie, 98% de précision, c’est souvent 100% de merde.

• Problème n°1 : les biais racistes et sexistes Les algorithmes sont entraînés sur des bases de données déséquilibrées. Résultat ? Ils confondent plus souvent les visages noirs ou asiatiques que les visages blancs. Une étude du MIT a montré que certains systèmes se trompaient jusqu’à 35% du temps sur les femmes à la peau foncée. Randi, elle, est noire.

• Problème n°2 : la qualité des images Une photo floue, un éclairage pourri, un angle bizarre… et hop, l’IA voit ce qu’elle veut voir. Comme quand vous croyez reconnaître un pote dans la foule, mais en fait c’est juste un type avec la même veste.

• Problème n°3 : l’effet "boîte noire" Personne ne sait vraiment comment l’IA prend ses décisions. Les juges et les policiers font confiance à un pourcentage sorti d’un ordinateur, sans pouvoir vérifier. "L’algorithme a dit que c’était elle, donc c’est elle." Bonjour, la démocratie.

"Je ne suis plus la même femme." — Randi, après sa libération.

Elle a perdu son travail, sa réputation, et des mois de sa vie. Le pire ? L’erreur a été reconnue… mais trop tard.

---

Quand l’IA joue aux devinettes (et perd)

Prenons un autre exemple, plus "mignon" (si on peut dire) : les deepfakes politiques.

Récemment, une fausse vidéo de Bernie Sanders a circulé sur les réseaux. Le deepfake était si mal fait que même un enfant de 10 ans aurait vu le piège. Pourtant, des milliers de gens l’ont cru.

Pourquoi ? Parce que notre cerveau est programmé pour faire confiance aux images. Et les IA exploitent ça.

• Cas n°1 : la reconnaissance faciale dans les aéroports Aux États-Unis, des passagers se sont vu refuser l’embarquement parce que l’IA les avait confondus avec des terroristes. Spoiler : ils étaient juste en vacances.

• Cas n°2 : les caméras "intelligentes" en France On en parle ici : la videosurveillance algorithmique débarque dans nos villes. Problème ? Ces systèmes ont déjà faussement accusé des innocents lors d’essais à Nice et Marseille.

• Cas n°3 : les CV triés par IA Des entreprises utilisent des algorithmes pour filtrer les candidatures. Résultat ? Des femmes et des minorités se voient automatiquement rejetées parce que le système préfère les profils "classiques" (read : hommes blancs de 30 ans).

---

"Mais c’est juste un bug, non ?"

Ah, si seulement.

Le vrai problème, c’est que l’IA n’est pas neutre. Elle reproduit (et amplifie) les biais de ceux qui la programment.

• Exemple 1 : les peines de prison Aux États-Unis, des algorithmes comme COMPAS prédisent le risque de récidive des accusés. Sauf que… ils donnent des notes plus élevées aux Noirs qu’aux Blancs pour les mêmes délits. Conséquence ? Des peines plus lourdes.

• Exemple 2 : les prêts bancaires Certaines banques utilisent l’IA pour accorder (ou refuser) des crédits. Résultat ? Les quartiers pauvres et les minorités ethniques se voient systématiquement pénalisés.

• Exemple 3 : la médecine Des hôpitaux testent des IA pour diagnostiquer des maladies. Problème : si l’algorithme a été entraîné surtout sur des patients blancs, il peut rater des symptômes chez les patients noirs.

"On nous vend de l’IA ‘objective’, mais en réalité, c’est juste du préjugé automatisé." — Joy Buolamwini, chercheuse au MIT.

---

Et demain, on fait quoi ?

Bon, on va pas se mentir : l’IA n’est pas près de disparaître. Alors comment éviter que ça vire au cauchemar ?

1. Exiger la transparence Si une IA prend une décision qui impacte une vie (prison, emploi, crédit), on doit pouvoir savoir comment elle a abouti à ce résultat. Finies, les boîtes noires.

2. Tester, tester, tester Avant de déployer un algorithme dans la vraie vie, il faut le soumettre à des scénarios extrêmes et vérifier ses biais. Comme quand vous essayez une nouvelle recette : vous goûtez avant de servir à 100 personnes.

3. Former les juges et les flics Un algorithme ne doit jamais remplacer un humain. Les forces de l’ordre doivent comprendre les limites de l’IA, pas juste appuyer sur "OK" parce qu’un écran le leur dit.

4. Donner des droits aux victimes Aujourd’hui, se défendre contre une erreur d’IA, c’est mission impossible. Il faut des lois qui permettent de contester facilement une décision algorithmique.

5. Arrêter de croire les promesses marketing Quand une entreprise vous dit que son IA est "à 99,9% fiable", méfiez-vous. Dans la vraie vie, 0,1% d’erreur peut signifier des milliers de vies brisées.

---

FAQ

[L’IA peut-elle vraiment envoyer quelqu’un en prison ?] Oui, et c’est déjà arrivé. Aux États-Unis, plusieurs cas comme celui de Randi montrent que les juges s’appuient sur des reconnaissances faciales automatisées pour inculper — parfois à tort. Le problème ? Ces systèmes ont des biais racistes et sexistes, et leurs erreurs sont difficiles à contester.

[Comment savoir si une décision a été prise par une IA ?] Aujourd’hui, c’est presque impossible. Peu d’entreprises ou d’administrations avouent utiliser des algorithmes pour des décisions sensibles (embauche, crédit, justice). Certains pays commencent à imposer une obligation de transparence, mais c’est encore très limité.

[Peut-on se défendre contre une erreur d’IA ?] Théoriquement, oui. Pratiquement, c’est un parcours du combattant. Il faut souvent prouver que l’algorithme est biaisé, ce qui demande des expertises coûteuses. Des associations militent pour un "droit à l’explication" : pouvoir demander comment une IA a pris sa décision.