Intelligence artificielle et gouvernance algorithmique : vers quelle société nous dirigeons-nous ?

Les sociologues, philosophes, psychologues, politologues ont du pain sur la planche depuis que l'IA (intelligence artificielle) s'est glissée à tous les étages de la "révolution numérique" en cours. L'année 2017 a été riche en annonces, déclarations et rapports qui laissent présager une véritable ruée vers ces outils de "machine learning" (algorithmes d'apprentissage automatique)… et désormais déclarés comme incontournables.

> Lire notre article : "Intelligences artificielles : l'Europe veut-elle les encadrer ?"

A bien écouter les discours des décideurs politiques et économiques, sans l'IA et ses capacités d'autonomie et de prédiction, point d'issue. Il semblerait que le monde à venir, dans quelques années, sera géré par l'IA ou… ne sera pas. Malgré quelques cris d'alarme sur cet emballement — le plus souvent orientés autour de craintes issues de la science-fiction, avec robots tueurs et destruction de l'humanité par des machines à la clef — peu de discussions ont lieu autour des changements de société profonds qui s'opèrent déjà et s'accentueront avec la généralisation des IA. Il est pourtant crucial d'ouvrir un débat, sous peine de subir, à court terme, une nouvelle société où la part de l'être humain et de son humanité sera marginale. Ou totalement modifiée. Avec toutes les conséquences que ce nouveau paradigme pourrait engendrer. 

Un monde de statistiques

La première chose à énoncer — et qui n'est pas souvent explicitée — à propos des intelligences artificielles est simple mais fondamentale pour la bonne compréhension du sujet : ce sont des programmes informatiques qui effectuent des traitements statistiques. Cet aspect trivial du traitement statistique permet d'affirmer une première chose : les IA ne sont pas des "cerveaux numériques", capables de penser ou réfléchir comme l'homme et elles ne le deviendront pas. Ces algorithmes sont par contre des machines fantastiques à traiter des informations dans des proportions considérables.

Une IA trie donc de l'information, la stocke, la compare, opère des traitements statistiques et peut en permanence "améliorer" ces opérations, les affiner, développer de nouveaux traitements qui n'étaient pas forcément "programmés" au départ. Le joueur de Go "AlphaGo Zero" est un exemple parfait de cette capacité de traitement statistique en apprentissage permanent — et en progression — que les IA actuelles possèdent.

Vouloir "implémenter" des IA dans tous les domaines de la vie humaine, de la santé à l'éducation, en passant par les transports, le recrutement professionnel, la comptabilité, la lutte contre le crime ou la justice, la chasse à la fraude, le calcul des risques ou bien encore l'aide à la décision, n'est pas anodin. Ce choix risque de modifier fondamentalement le fonctionnement intrinsèque des sociétés humaines. Un monde où les choix, les comportements, les décisions des individus sont alors entièrement basés sur des résultats statistiques automatisés, est un monde fortement déshumanisé, contrôlé par une forme "d'efficience objective" et déclarée comme telle…  par des machines. Efficience supérieure à celle de l'homme et donc généralisée.

Cette "société du chiffre", où toutes compétences, parcours professionnels, parcours médicaux, scolarité, sont traités par des systèmes statistiques — forcément comparatifs — annonce la fin de la subjectivité humaine. Le chercheur Manuel Castells explique, à propos des métadonnées (données de connexion sur Internet récoltées par les entreprises ou les États) et de leurs traitements, que ces derniers divulguent "la dimension de l’intelligence sociale incarnée dans tout élément d’information". En résumé, Castells explique que ce traitement global nous fait passer d’une économie politique industrielle à la gouvernance algorithmique, ce qu'il nomme le "capitalisme du calcul".

Machines à l'efficience parfaite ?

L'intelligence artificielle, telle qu'elle opère aujourd'hui, a déjà atteint un certain niveau de "compétence" dans des domaines spécialisés. Les voitures autonomes, même si elles ne sont pas encore commercialisées auprès du grand public, fonctionnent parfaitement grâce aux algorithmes en apprentissage automatique — en perpétuelle auto-amélioration — qui les pilotent.

La généralisation des véhicules autonomes doit survenir sous peu pour remplacer la conduite humaine, jugée bien plus risquée et surtout imparfaite. Les accidents devraient donc diminuer de façon exponentielle au fur et à mesure que les voitures pilotées par IA circuleront sur les routes. De la même manière, des entreprises spécialisées proposent leurs services aux administrations de l'Etat pour effectuer des économies, en "lançant" leurs IA à la chasse aux fraudeurs :

Les domaines où le machine learning peut s'installer sont quasi infinis : le traitement statistique d'informations est central dans toutes les activités humaines, action que le cerveau effectue d'ailleurs en permanence… Mais la différence principale entre un cerveau humain et une IA réside dans deux facteurs essentiels : l'efficience et la subjectivité. L'efficience des IA est proche de la perfection (elle ne commet pas d'erreurs dans son traitement statistique) à l'inverse de l'humain, et la subjectivité des IA est nulle (celle de l'homme est importante puisque basée sur des émotions liées à une "raison") .

La question est donc : que devient une société où les actions, les contrôles, les interactions, aides, surveillances sont effectuées avec 100% d'efficience et où aucun doute ni prise en compte de l'altérité humaine, la spécificité de chacun, n'existe plus ? Le philosophe Bernard Stiegler, spécialiste des questions numériques, exprimait sa vision du monde en cours de constitution par le traitement des données, dans l'émission d'Étienne Klein la "Conversation scientifique", en 2016, et faisait part de ce constat :

"Adorno et Horkheimer en 1944 disent que les industries culturelles sont en train de produire une nouvelle forme de barbarie. [...] Ils soutiennent qu'à travers les industries culturelles, la raison se transforme en rationalisation, ce qui signifie pour moi la réduction de la raison au calcul, à la calculabilité (…) Nous visons, nous, au 21ème siècle, une véritable révolution des conditions de la pensée par une exploitation désormais absolument systématique des capacités de calcul artificiel qui est en train de totalement bouleverser notre horizon de pensée."

Une nouvelle forme de barbarie basée sur la rationalisation, remplaçant la raison, selon Stiegler : quelle pourrait-être cette société ultra-rationnelle et rationnalisante ?

Une société parfaitement contrôlée

Le fonctionnement des IA, qu'il soit appliqué à l'optimisation des investissements d'entreprise ou à la recherche de profils psychologiques dangereux, est le même. Il passe par la détection d'anomalies et la reconnaissance de formes. Ce sont des logiques qui permettent aux algorithmes d'analyser de grands ensembles de données, comme les métadonnées issues des communications d'une population, et permettent ensuite la reconnaissance de similitudes puis d'anomalies. Au milieu du chaos de l'information, visiblement dénuée de sens, ces logiques analytiques numériques soulignent des tendances, sont capables de dégager une forme particulière au milieu du brouhaha apparent. Une fois les formes les plus habituelles et semblables bien détectées, il est alors possible pour les algorithmes d'opérer des détections précises de ce qui est appelé "anomalies" dans l'ensemble des informations.

Le logiciel "Adams" de la Darpa (Département de recherche militaire américain)  —développé depuis 2010 — est par exemple utilisé pour détecter des menaces potentielles d'individus au sein d’une organisation militaire. Ce logiciel analyse le courrier électronique des soldats, à la recherche d’anomalies… jusqu'à pouvoir prétendre identifier un profil qu'il estime dangereux : une "anomalie" (un soldat) au milieu des formes standards (les autres soldats). 

Les outils de machine learning sont en plein essor : pour la sécurité sociale, l'assurance-chômage, le système bancaire, les services fiscaux, les mutuelles, les services de police, ceux de renseignement, etc. Le principe est d'assurer aux organisations publiques ou entreprises privées une capacité à repérer tout élément "non-standard" dans leurs données, tout mouvement "non-similaire" à une forme générale et donc  tout individu pouvant "tricher" avec le système, le contourner ou simplement en bénéficier sans remplir toutes les conditions. Cette "chasse à l'homme" informatique et aux anomalies de comportements ayant une vocation protectrice, de meilleure gestion, ne soulève donc pas véritablement de contestation sociale ou politique à l'heure actuelle. Seules quelques velléités d'encadrement et de mise en place d'une éthique des IA commencent à émerger, mais sans véritable souhait de questionner le fond de la problématique d'une "société de la statistique et de contrôle par les IA".

> lire l'article de The Conversation : "The AI Initiative : conversation avec Nicolas Miailhe"

Chaque outil d'IA, justifié individuellement par ses performances et ses avantages, peut en effet trouver une adhésion large auprès de la population et ne pas sembler poser problème. Qui contesterait l'utilité d'empêcher la fraude fiscale ou réprimer les tricheurs de la sécurité sociale et surtout de détecter des criminels avant qu'ils n'agissent ? Ces outils ne sont, en apparence, qu'une forme de modernisation des services humains de traque aux fraudeurs ou aux criminels. Mais un cumul et une généralisation de ces IA ne peuvent faire l'économie d'une réflexion plus large sur les effets sociétaux qu'ils engendreront. Et ces effets sont très vastes.

Matteo Pasquinelli, professeur en théorie des médias de l'univeristée d'art et de design de Karlsruhe en Allemagne, explique les ressors de la société de gouvernance algorithmique dans un texte intitulé "Anomaly Detection: The Mathematization of the Abnormal in the Metadata Society" (Détection d'anomalie : la mathématisation de l'anormal dans une société des métadonnées). Pour lui, une société gérée par des algorithmes triant toutes les données est une société qui tend forcément vers le totalitarisme :

"La gouvernance algorithmique est également apophénique (altération de la perception, qui conduit un individu à attribuer un sens particulier à des événements banals en établissant des rapports non motivés entre les choses, ndlr), elle est une reconnaissance paranoïaque et une construction arbitraire des schémas politiques à l'échelle mondiale. Il y a une croyance excessive dans le pouvoir et la puissance des algorithmes, dans leur efficacité et dans la transparence totale de la société."

L'IA s'insinue partout dans la société, de façon invisible, sans bruit, dans le quotidien des individus et génère de nouveaux comportements, de nouvelles manières de vivre, d'échanger, d'apprendre, de travailler, de contrôler. Ceux qui analysent et observent la société sont nombreux à affirmer qu'elle la change déjà à grands pas et ne peut que  la  transformer massivement. Mais la question de la qualité de cette société qui arrive reste entière : quels humains serons-nous dans ce monde statistique ultra-rationnalisé… et que restera-t-il de notre raison et de nos émotions ?