Fil d'Ariane
Cathy O'Neil débute son ouvrage avec les précautions nécessaires pour ne pas perdre le lecteur : elle définit ce que sont réellement les algorithmes utilisés dans le monde de la finance, et plus largement les modèles prédictifs bourrés de Big Data qui sont désormais implantés de partout aux Etats-Unis : de l'éducation à la justice en passant par le commerce ou la santé, les organismes sociaux ou les assurances. La première application de ces modèles informatique censés optimiser les activités humaines décrite par O'Neil est le logiciel d'évaluation des enseignants, nommé IMPACT et mis en place en 2009, leur donnant un score : l'algorithme prend en compte de nombreux facteurs pour évaluer l'enseignant, dont les compétences en mathématiques et linguistique des élèves.
Les processus reposant sur le Big Data n’inventent pas le futur, ils codifient le passé.Cathy O'Neil : "Algorithmes, la bombe à retardement"
C'est ainsi qu'une enseignante très appréciée de sa direction, des parents d'élève et de ses élèves, est licenciée après que le logiciel lui a donné un score très faible. 205 autres enseignants de l'Etat de Washington D.C sont alors congédiés avec elle. L'enseignante s'occupait d'une majorité d'élèves en grande difficulté, la machine, voyant les mauvaises notes de ces derniers, lui a infligé un score très faible, synonyme de licenciement dans le système mis en place…
Renonçons, au moins pour les dix à vingt années qui viennent, à concevoir des outils destinés à mesurer l’efficacité d’un enseignant.Cathy O'Neil : "Algorithmes, la bombe à retardement"
C'est à partir de cette première histoire que l'auteure entraîne le lecteur dans une sucession de chapitres expliquant les mécanismes d'un véritable écosystème de notations et de prédictions mis en place aux Etats-Unis depuis une dizaine d'années. Un écosystème algorithmique de notations sociales, politiques et économiques.
Cathy O'Neil connaît très bien les modèles mathématiques qui sous-tendent les algorithmes qui s'appliquent dans la société américaine, comme ceux que la justice utilise pour déterminer les peines de prison. Son constat — sans appel — n'est pas une critique pure des algorithmes en tant que tels, mais plutôt la démonstration des biais qu'ils comportent… de par les données qu'ils traitent. Un exemple : les juges américains sont désormais équipés de logiciels qui calculent le taux de récidive d'un justiciable et proposent une peine "adaptée" en fonction de celui-ci. Plus le taux de récidive est élevé, plus la peine est longue.
Les algorithmes d'apprentissage automatique et d'intelligence artificielle n'intègrent pas une modélisation du monde capable de distinguer de façon fiable la vérité du mensonge.Cathy O'Neil : "Algorithmes, la bombe à retardement"
Les juges ne sont pas obligés de suivre ces propositions mais doivent quand même justifier leur choix s'ils ne les suivent pas et il a été déterminé de façon très claire que les personnes afro-américaines étaient toujours bien plus lourdement condamnées, avec un taux de récidive calculé par la machine toujours très élevé. Ce n'est pourtant pas un biais raciste basé sur l'origine ethnique ou la couleur de peau qui oriente la machine, mais une somme de donnée qui — en réalité — condamnent plus lourdement en fonction du milieu social . Résider dans un quartier pauvre, ne pas avoir de diplômes, avoir été souvent contrôlé pa la police, être sans emploi, sont des facteurs pris en compte par le logiciel : les afro-américains étant bien plus sujets à ces phénomènes, ils sont donc automatiquement plus condamnés.
Nous devrions en tant que scientifiques proposer pour l’audit d’un algorithme des méthodes statistiques judicieuses et exhaustivesCathy O'Neil : "Algorithmes, la bombe à retardement"
Les compagnies d'assurances automobiles utilisent elles aussi les Big Data pour calculer leurs tarifs, prenant en compte les"scores de crédit, ainsi que des données démographiques et des informations de consommation. Une très bon payeur, qui rembourse parfaitement ses crédits bancaires, achète du luxe mais a déjà été arrêté en état d'ivresse payera nettement moins cher qu'une personne en difficulté financière, issue d'un quartier pauvre mais sobre au volant !
O'Neil détaille tous les pans touchés par les systèmes algorithmiques prédictifs et autres modèles statistiques en œuvre aujourd'hui aux Etats-Unis : recrutement dans les entreprises, aides sociales, chasse aux chômeurs, attribution de logements, obtention de crédit bancaire, publicité en ligne, ciblage et influence des électeurs, planification du travail : rien n'est laissé au hasard dans "Algorithmes, une bombe à retardement", avec de nombreux détails sur le fonctionnement des entreprises ou institutions utilisant ces "armes de destruction mathématiques", des logiciels qui accentuent au final les biais et inégalités déjà présents dans la société américaine.
Un modèle pourrait par exemple être programmé afin de s’assurer que la diversité des appartenances ethniques ou des niveaux de revenus soit bien représenté au sein de différents groupes d’électeurs ou de consommateursCathy O'Neil : "Algorithmes, la bombe à retardement"
Ce que démontre Cathy O'Neil tout au long des 340 pages de son ouvrage est que la "bombe à retardement algorithmique" en question réside avant tout dans l'utilisation qui est faite de ces modèles. Ces algorithmes sont écrits pour la génération de profits financiers ou sur des présupposés sociétaux. Ce qu'explique l'auteure en substance, résume la situation américaine et l'orientation des algorithmes :"Les pauvres sont plus sujets à être délinquants, la pauvreté est considérée comme une "maladie" et les gens la subissant n'auraient pas le courage de se "soigner", les riches sont plus fiables, se comporteraient mieux en société, il est plus facile de vendre de l'argent "cher" à des pauvres qu'à des riches, etc".
L'analyste et mathématicienne Cathy O'Neil conclue donc son ouvrage sur une somme de constats et de propositions afin de "corriger" les algorithmes qui recouvrent désormais presque tous les pans de la vie moderne. Il faudrait selon elle des systèmes de régulation, d'audits, des interdictions dans certains domaines, des mesures pertinente et la créations d'algorithmes "positifs", orientés vers l'aide humaine, l'accompagnement. Le dernier paragraphe de son ouvrage passionnant et très exhaustif est une sorte d'appel à se mobiliser, mais aux vues de la situation actuelle, il résonne presque comme une utopie :
Commençons dès maintenant à bâtir un cadre, pour s'assurer à long terme que les algorithmes rendent des comptes. Posons comme base la démonstration de leur légalité, de leur équité et de leur ancrage factuel. Et continons au fil du temps de préciser ce que ces critères signifient, en fonction du contexte. Ce sera un travail collectif, et nous aurons besoin d'autant d'avocats et de philosophes que d'ingénieurs. Mais en concentrant nos efforts, il sera possible d'y arriver. Nous ne pouvons pas nous permettre de rester spectateurs.
> Site de l'éditeur : Algorithmes, la bombe à retardement (Cathy O'Neil)