Les logiciels de prévention de la criminalité seraient racistes et défectueux
Prédire la capacité d’une personne à commettre des crimes à partir de la reconnaissance faciale et l’intelligence artificielle (IA), telle est la recherche controversée qui sera bientôt publiée par Springer, la prestigieuse maison d’édition. Un collectif d’une cinquantaine d’experts en IA travaillant chez Facebook, Google et Microsoft ont alors signé et adressé une lettre ouverte à l’éditeur pour que ce dernier reconsidère la décision de publier de telles recherches.
D’après Nathaniel J.S. Ashby, professeur à l’Université de Harrisburg et co-auteur de la recherche controversée, la reconnaissance faciale peut prédire si une personne deviendra un criminel ou non. « En automatisant l’identification des menaces potentielles […], notre objectif est de produire des outils de prévention du crime, d’application de la loi et d’applications militaires qui sont moins touchés par les préjugés implicites et les réponses émotionnelles », rajoute Ashby.
Un collectif de plus de 2 000 chercheurs, universitaires et experts en IA s’est alors soulevé contre la conduite de telles recherches évoquant des motifs d’éthique et d’usage de méthodes scientifiques peu fiables.
L’article ne sera pas publié
Le contenu de la lettre ouverte évoque les « graves préoccupations » des signataires sur le sujet de l’étude. Ceux-ci exhortent donc le comité de lecture de Springer à ne pas publier les travaux de Ashby et vont même plus loin en demandant aux autres éditeurs le refus de publier de telles recherches. En effet, selon eux, la reconnaissance faciale et la technologie de prédiction du crime nécessitent une extrême prudence pour éviter la catégorisation de certaines communautés.
Questionné sur le sujet, Felicitas Behrendt, responsable des communications de Springer Nature, a déclaré : « Nous reconnaissons l’inquiétude suscitée par ce document [l’article de Ashby] et souhaitons préciser qu’il n’a été accepté pour publication à aucun moment. Il a été soumis à une prochaine conférence pour laquelle Springer publiera les actes dans la série Transactions on Computational Science and Computational Intelligence et a fait l’objet d’un examen approfondi par les pairs. La décision de l’éditeur de la série de rejeter le document final a été prise le mardi 16 juin et a été officiellement communiquée aux auteurs le lundi 22 juin. »
Des algorithmes discriminatoires
Les experts dans le domaine de l’IA ont longtemps critiqué l’efficacité des algorithmes de reconnaissance faciale. Ces algorithmes d’identification sont souvent décriés pour leur manque de fiabilité lors de l’identification de visages non caucasiens. Ces limitations pourraient alors risquer de renforcer la discrimination envers les communautés considérées comme étant vulnérables.
Par ailleurs, comme l’indique un des auteurs de la lettre ouverte, « Les programmes d’apprentissage automatique ne sont pas neutres […] et les données avec lesquels ils travaillent héritent souvent des croyances culturelles dominantes sur le monde. » « L’acceptation non critique des hypothèses par défaut conduit inévitablement à une conception discriminatoire dans les systèmes algorithmiques, reproduisant des idées qui normalisent les hiérarchies sociales et légitiment la violence contre les groupes marginalisés. » rajoute-t-il.
