Info

Technologies de prédiction du crime : Palantir a scruté les citoyens de la Nouvelle-Orléans en secret pendant 6 ans

L'entreprise californienne Palantir Technologies vient d'achever une opération secrète de "prédiction du crime" à la Nouvelle-Orléans. La firme technologique —  financée à l'origine par la CIA et spécialisée dans le "minage et le traitement de données" — est connue en France pour avoir vendu ses outils logiciels aux services de renseignement. Prédire les crimes peut-être, mais à quel prix ?

dans

 

Palantir Technologies est une entreprise californienne spécialisée dans la science de l'analyse des méga-données (big data) créée en 2004 et en partie financée à l'origine par la CIA. Son PDG, Peter Thiel, est à ce jour le conseiller au numérique de Donald Trump. Mais il est aussi membre du Conseil d'administration de Paypal, détient 7% du capital de… Facebook, qu'il a aidé à financer en 2004. L'entreprise Palantir Technologies tient son nom d'un artefact magique inventé par J.R.R Tolkien dans Le seigneur des anneaux, le Palantir : une pierre de clairvoyance, sorte de boule de cristal dans laquelle des scènes situées plus loin dans l'espace ou le temps peuvent être visionnées.  La firme californienne a donc donné le ton dès le départ. Créée à la suite des attentats du 11 septembre, l'objectif de Palantir est de permettre de "tout voir" grâce à ses logiciels à travers les données qu'ils traitent. Au point de proposer depuis plusieurs années des outils de prédiction et plus particulièrement de prédiction du crime.

L'entreprise Palantir Technologies a signé un contrat ultra-confidentiel avec la police de la ville de Nouvelle-Orléans en 2012. Ce contrat, qui a été renouvelé 3 fois jusqu'à la fin février 2018, portait sur la mise en place et l'exploitation d'un logiciel basé sur les liens entre les personnes, la remontée des crimes et délits des citoyens, l'analyse des données des réseaux sociaux et ce, afin de prédire le potentiel des individus à devenir "des victimes ou des acteurs d'actes violents". L'information a été dévoilée sur le site The Verge par le biais d'un conseiller municipal, furieux de découvrir que cette  "expérience policière" se soit faite sans l'accord des responsables de la ville.

Analyser, détecter, décrire, visualiser 

La spécialité de Palantir Technologies est connue : l'exploitation de données à des fins d'analyse pour l'aide à la décision et… à la prédiction. Les logiciels de l'entreprise sont réputés pour leur puissance et leur finesse d'analyse selon les documents révélés par Edward Snowden et publiés par The Intercept. L'un d'eux, Palantir Gotham, a séduit les services de renseignement et d'espionnage britanniques dès 2008.  Le principe général de ce logiciel est de réunir et de rendre exploitables quantité de données issues de sources multiples. Le logiciel est alors capable de créer des liens très fins entre des éléments éparses, de créer une indexation pertinente de cette information pour offrir ensuite des analyses statistiques sur n'importe quel sujet traité, comme celui des "actes criminels potentiels". 


L'avocate ­Jennifer Lynch, qui travaille pour l'ONG Electronic Frontier Foundation, n'hésite pas à parler de "prophéties autoréalisatrices".
À propos du logiciel de prédiction du crime Predpol à Chicago

Ce qui est connu au sujet des outils de Palantir Technologies peut faire un peu froid dans le dos pour une raison simple : à partir du moment où suffisament de données —issues d'un maximum de sources variées —  concernant des individus sont entrées dans le logiciel, il est possible pour les analystes de "questionner" le système sur le sujet qu'ils souhaitent pour recevoir des réponses sous forme de graphiques ou de cartes très simples à interprêter. Savoir si quelqu'un appartient à un mouvement religieux, s'il consomme des drogues, si un groupe de personnes partage les mêmes idées politiques, traquer des personnes liées à une activité précise, évaluer quand un criminel passera à l'acte sont les quelques exemples de "services" que Palantir Gotham peut rendre aux forces de police ou aux équipes de renseignement. Bien entendu, l'entreprise propose des services plus "positifs" comme l'aide à la gestion d'entreprise ou des crises humanitaires. Malgré tout, à la Nouvelle Orléans, Palantir Gotham a été utilisé sur la totalité de la population pour "prévenir" le crime.

Nouvelle-Orléans :  un laboratoire prédictif ?

La Nouvelle-Orléans est l'un des Etats où le taux d'homicide est le plus élevé. Les guerres de gangs sont fréquentes, les trafics de drogue importants. Dès 2010, des contacts entre la firme technologique et des responsables de la ville ont été effectués. Le prix d'un logiciel Palantir étant de plusieurs millions de dollars, le contrat signé avec la Nouvelle-Orléans en février 2012 l'a été à titre gratuit, dans le cadre d'un programme de type "philanthropique" mis en place par l'entreprise de Peter Thiel. Dès l'année suivante, en 2013, la municipalité a donc permis à Palantir Technologies d'importer dans son logiciel de prédiction du crime toutes les données des citoyens qu'elle possédait. Enregistrements de la cour de justice, permis de conduire, adresses, numéros de téléphone, données de réseaux sociaux : des millions de données personnelles ont été fournies à la firme californienne par la municipalité de la Nouvelle-Orléans dans le plus grand secret. 


Non seulement le nombre d'homicides n'a pas diminué mais les personnes identifiées ont été plus fréquemment arrêtées lorsque des incidents avaient lieu à proximité de leur domicile.

Extrait d'une étude sur le logiciel de prédiction du crime Predpol à Chicago

Pour pouvoir entraîner les algorithmes d'apprentissage automatique de prédiction des crimes, des données en quantité massive sur la criminalité mais aussi sur la "non-criminalité" ont donc été fournies par la Nouvelle-Orléans, devenant ainsi un véritable laboratoire expérimental de l'analyse des données des citoyens par une entreprise privée, sans aucun accord administratif ni contrôle. Les buts affichés : repérer des délinquants, arrêter des membres de gangs, connaître par avance les déplacements des criminels... Tout cela a semblé tellement intéressant pour le maire de la ville et son département de police qu'ils en ont oublié de prévenir les membres du conseil municipal et les autorités administratives.

Les algorithmes de prédiction du crime : échecs et biais majeurs

Le logiciel de prédiction du crime de Palantir Technologies utilisé à la Nouvelle Orléans — sans concertation ni évaluation préalable — pose des questions d'ordre éthique très profondes ayant trait à la démocratie et aux libertés. Sachant que l'efficacité toute relative de ce type d'outils a été démontrée dans le cas du fameux logiciel PredPol, dès 2011, malgré une certaine fascination sur son efficacité, tout du moins les premiers temps  :


La ville de Santa Cruz a été la première à se doter, en juillet 2011, du programme PredPol, l'abréviation de predictive policing, un algorithme conçu pour prédire où et quand un crime va se produire. Grâce à une base de données recensant les infractions passées, la formule mathématique – complexe et tenue secrète – permet d'aiguiller très précisément les forces de l'ordre. (Extrait de l'article "Le logiciel qui prédit les délits", dans Le Monde, 04-01-2013)

Des chercheurs se sont penchés sur le fonctionnement de PredPol et ont voulu vérifier le fonctionnement du logiciel, son efficacité et les biais qu'il pouvait ou non effectuer. Une étude de Rand ­Corporation, un think tank américain spécialisé dans les questions de défense a par exemple démontré que le logiciel installé à Chicago ne produisait pas de résultats mais accentuait des problèmes : 


"(…) Non seulement le nombre d'homicides n'a pas diminué, mais les personnes identifiées ont été plus fréquemment arrêtées lorsque des incidents avaient lieu à proximité de leur domicile. « Cette forme d'acharnement arbitraire a sans doute amplifié des tensions préexistantes avec les forces de l'ordre dans les quartiers concer­nés ", notent les enquêteurs. L'avocate ­Jennifer Lynch, qui travaille pour l'ONG Electronic Frontier Foundation, n'hésite pas à parler de « prophéties autoréalisatrices". (Article Les Echos : "Peut-on vraiment prédire les crimes ?")

Les logiciels comme Predpol ou Palantir Gotham questionnent les fondements de nos sociétés démocratiques : jusqu'où la vie privée, l'intimité des personnes, la liberté d'agir et de se comporter — en bien ou en mal — peuvent-elles être stockées, scrutées, analysées à des fins policières ? L'efficacité toute relative — et de façade —offerte par ces technologies prédictive ayant pour biais principal le renforcement des préjugés sociaux, raciaux et économiques en place, peut-on accepter qu'elles deviennent l'outil de gestion de prévision et de répression de la délinquance ? 

Palantir Technologies a fait ses armes à la Nouvelle Orléans pendant 6 ans pour améliorer son logiciel de prédiction du crime sans que la population ne sache que ses données, et donc la vie sociale de chacun étaient utilisées. Cette société a vendu ses solutions de surveillance et de prédiction à des services de renseignements dont la DGSI française pour 10 millions d'euros en 2015, une information révélée par Paris Match à l'époque. Patrick Calvar, le président de la direction de la DGSI lors d’une audition à l’Assemblée expliquait alors pour justifier cet achat  : "Nous ne manquons pas de données ni de métadonnées, mais nous manquons de systèmes pour les analyser".

Désormais, des technologies d'analyses et de traitements des bigdata à vocation prédictive sont aussi implantées en France. Alors que le Règlement général sur la protection des données (RGPD) arrive et est censé "protéger" les données personnelles des Français, les révélations sur les activités de Palantir Technologies en partenariat avec des administrations nationales ou locales devraient interroger sur l'efficacité réelle de la RGPD.

> Lire notre article : "Données personnelles : peut-on lutter contre l'hégémonie des GAFAM ?"

Lorsque l'on sait que l'un des fleurons français de ce type de technologies, Morpho-Safran, a vendu ses système intelligents de "detection visuelle du crime" à la police nationale française, il semble que la  généralisation de ces nouveaux outils soit plus probable qu'incertaine.

"MVI a été créée par Safran en associant son logiciel de reconnaissance faciale de pointe à des fonctions d'analyse vidéoperformantes (détection de mouvementsreconnaissance des personnesidentification des plaques d'immatriculation). Les algorithmes intégrés traitent les vidéos brutes puis détectent et signalent aux analystes les séquences visuelles importantes. "

A moins que les erreurs et les biais des algorithmes n'obligent les décideurs politiques à reculer ? Rien n'est moins sûr, puisque le débat en France sur ce sujet… n'existe toujours pas.