Technologies de prédiction du crime : Palantir a scruté les citoyens de la Nouvelle-Orléans en secret pendant 6 ans

L'entreprise Palantir Technologies a signé un contrat ultra-confidentiel avec la police de la ville de Nouvelle-Orléans en 2012. Ce contrat, qui a été renouvelé 3 fois jusqu'à la fin février 2018, portait sur la mise en place et l'exploitation d'un logiciel basé sur les liens entre les personnes, la remontée des crimes et délits des citoyens, l'analyse des données des réseaux sociaux et ce, afin de prédire le potentiel des individus à devenir "des victimes ou des acteurs d'actes violents". L'information a été dévoilée sur le site The Verge par le biais d'un conseiller municipal, furieux de découvrir que cette  "expérience policière" se soit faite sans l'accord des responsables de la ville.

Analyser, détecter, décrire, visualiser 

La spécialité de Palantir Technologies est connue : l'exploitation de données à des fins d'analyse pour l'aide à la décision et… à la prédiction. Les logiciels de l'entreprise sont réputés pour leur puissance et leur finesse d'analyse selon les documents révélés par Edward Snowden et publiés par The Intercept. L'un d'eux, Palantir Gotham, a séduit les services de renseignement et d'espionnage britanniques dès 2008.  Le principe général de ce logiciel est de réunir et de rendre exploitables quantité de données issues de sources multiples. Le logiciel est alors capable de créer des liens très fins entre des éléments éparses, de créer une indexation pertinente de cette information pour offrir ensuite des analyses statistiques sur n'importe quel sujet traité, comme celui des "actes criminels potentiels". 

Ce qui est connu au sujet des outils de Palantir Technologies peut faire un peu froid dans le dos pour une raison simple : à partir du moment où suffisament de données —issues d'un maximum de sources variées —  concernant des individus sont entrées dans le logiciel, il est possible pour les analystes de "questionner" le système sur le sujet qu'ils souhaitent pour recevoir des réponses sous forme de graphiques ou de cartes très simples à interprêter. Savoir si quelqu'un appartient à un mouvement religieux, s'il consomme des drogues, si un groupe de personnes partage les mêmes idées politiques, traquer des personnes liées à une activité précise, évaluer quand un criminel passera à l'acte sont les quelques exemples de "services" que Palantir Gotham peut rendre aux forces de police ou aux équipes de renseignement. Bien entendu, l'entreprise propose des services plus "positifs" comme l'aide à la gestion d'entreprise ou des crises humanitaires. Malgré tout, à la Nouvelle Orléans, Palantir Gotham a été utilisé sur la totalité de la population pour "prévenir" le crime.

Nouvelle-Orléans :  un laboratoire prédictif ?

La Nouvelle-Orléans est l'un des Etats où le taux d'homicide est le plus élevé. Les guerres de gangs sont fréquentes, les trafics de drogue importants. Dès 2010, des contacts entre la firme technologique et des responsables de la ville ont été effectués. Le prix d'un logiciel Palantir étant de plusieurs millions de dollars, le contrat signé avec la Nouvelle-Orléans en février 2012 l'a été à titre gratuit, dans le cadre d'un programme de type "philanthropique" mis en place par l'entreprise de Peter Thiel. Dès l'année suivante, en 2013, la municipalité a donc permis à Palantir Technologies d'importer dans son logiciel de prédiction du crime toutes les données des citoyens qu'elle possédait. Enregistrements de la cour de justice, permis de conduire, adresses, numéros de téléphone, données de réseaux sociaux : des millions de données personnelles ont été fournies à la firme californienne par la municipalité de la Nouvelle-Orléans dans le plus grand secret. 

Pour pouvoir entraîner les algorithmes d'apprentissage automatique de prédiction des crimes, des données en quantité massive sur la criminalité mais aussi sur la "non-criminalité" ont donc été fournies par la Nouvelle-Orléans, devenant ainsi un véritable laboratoire expérimental de l'analyse des données des citoyens par une entreprise privée, sans aucun accord administratif ni contrôle. Les buts affichés : repérer des délinquants, arrêter des membres de gangs, connaître par avance les déplacements des criminels... Tout cela a semblé tellement intéressant pour le maire de la ville et son département de police qu'ils en ont oublié de prévenir les membres du conseil municipal et les autorités administratives.

Les algorithmes de prédiction du crime : échecs et biais majeurs

Le logiciel de prédiction du crime de Palantir Technologies utilisé à la Nouvelle Orléans — sans concertation ni évaluation préalable — pose des questions d'ordre éthique très profondes ayant trait à la démocratie et aux libertés. Sachant que l'efficacité toute relative de ce type d'outils a été démontrée dans le cas du fameux logiciel PredPol, dès 2011, malgré une certaine fascination sur son efficacité, tout du moins les premiers temps  :

Des chercheurs se sont penchés sur le fonctionnement de PredPol et ont voulu vérifier le fonctionnement du logiciel, son efficacité et les biais qu'il pouvait ou non effectuer. Une étude de Rand ­Corporation, un think tank américain spécialisé dans les questions de défense a par exemple démontré que le logiciel installé à Chicago ne produisait pas de résultats mais accentuait des problèmes : 

Les logiciels comme Predpol ou Palantir Gotham questionnent les fondements de nos sociétés démocratiques : jusqu'où la vie privée, l'intimité des personnes, la liberté d'agir et de se comporter — en bien ou en mal — peuvent-elles être stockées, scrutées, analysées à des fins policières ? L'efficacité toute relative — et de façade —offerte par ces technologies prédictive ayant pour biais principal le renforcement des préjugés sociaux, raciaux et économiques en place, peut-on accepter qu'elles deviennent l'outil de gestion de prévision et de répression de la délinquance ? 

Palantir Technologies a fait ses armes à la Nouvelle Orléans pendant 6 ans pour améliorer son logiciel de prédiction du crime sans que la population ne sache que ses données, et donc la vie sociale de chacun étaient utilisées. Cette société a vendu ses solutions de surveillance et de prédiction à des services de renseignements dont la DGSI française pour 10 millions d'euros en 2015, une information révélée par Paris Match à l'époque. Patrick Calvar, le président de la direction de la DGSI lors d’une audition à l’Assemblée expliquait alors pour justifier cet achat  : "Nous ne manquons pas de données ni de métadonnées, mais nous manquons de systèmes pour les analyser".

Désormais, des technologies d'analyses et de traitements des bigdata à vocation prédictive sont aussi implantées en France. Alors que le Règlement général sur la protection des données (RGPD) arrive et est censé "protéger" les données personnelles des Français, les révélations sur les activités de Palantir Technologies en partenariat avec des administrations nationales ou locales devraient interroger sur l'efficacité réelle de la RGPD.

> Lire notre article : "Données personnelles : peut-on lutter contre l'hégémonie des GAFAM ?"

Lorsque l'on sait que l'un des fleurons français de ce type de technologies, Morpho-Safran, a vendu ses système intelligents de "detection visuelle du crime" à la police nationale française, il semble que la  généralisation de ces nouveaux outils soit plus probable qu'incertaine.

A moins que les erreurs et les biais des algorithmes n'obligent les décideurs politiques à reculer ? Rien n'est moins sûr, puisque le débat en France sur ce sujet… n'existe toujours pas.