Intelligence artificielle : les robots tueurs peuvent-ils échapper à notre contrôle ?

Les « robots tueurs » sont déjà parmi nous et devraient se déployer sous peu sur des terrains de guerre, ce que l’ONG Human Right Watch (HRW) dénonce, au point d’appeler à leur interdiction par une campagne d’information contre les robots tueurs à l’attention des décideurs politiques comme de la société civile. Mais de quoi parle-t-on précisément ?

Selon l’ONG, le danger proviendrait des robots tueurs entièrement autonomes : l’équivalent des Terminators et des appareils militaires de la série de films de science-fiction éponymes. Des engins terrestres, sous-marins, aériens, capables de partir en mission et d’éliminer des « cibles » sans intervention humaine. 26 Etats se sont d’ailleurs déjà engagés à négocier un traité « d’interdiction des armes entièrement autonomes ». La France rechigne encore à s’y engager, d’où la campagne actuelle de l’ONG dans l’hexagone. Mais « le diable se cache dans les détails », comme l’ouvrage « Robots tueurs » d’Eric Martel vient le souligner.

Avec une très grande précision, toutes les nuances qui caractérisent ces technologies plus ou moins récentes mais bourrées d’intelligence artificielle sont décrites et analysées dans « Robots tueurs » : la Campagne  pour l’interdiction des robots tueurs de Human Rights Watch, à la lecture de cet ouvrage apparaît alors plutôt décalée aux vues des enjeux concrets que ces technologies militaires impliquent. L’intérêt de cette campagne reste néanmoins important : alerter sur ce sujet.

Une définition du robot tueur qui change tout

Human Rights Watch établit que les robots tueurs devant être interdits, sont des « armes entièrement autonomes, qui une fois activées peuvent choisir et attaquer une cible sans contrôle humain. » Ce sont donc des armes « d’un futur proche », d’après l’ONG : « Si des systèmes entièrement autonomes n’ont pas été développés, compte tenu des avancées de la robotique et de l’intelligence artificielle, ils pourraient apparaître d’ici quelques années. » Plusieurs constats sont à effectuer sur ces affirmations de Human Rights Watch.

Le premier constat est que des robots tueurs entièrement autonomes existent déjà et que les avancées de la robotique et de l’intelligence artificielle actuelles sont parfaitement suffisantes : des démonstrations ont déjà été effectuées, des hauts gradés américains ont fait des déclarations sur leur existence et des test positifs dévoilés par les services des armées viennent le confirmer. Tout comme les dizaines de milliers de kilomètres parcourus sans quasiment aucun accident par des véhicules autonomes des firmes Google, Uber et d’autres entreprises privées. La reconnaissance de formes, et donc d’ennemis par les intelligences artificielles actuelles, est de plus en plus performante : les systèmes d’apprentissage automatique progressent en permanence et les domaines militaires, du renseignement, sont ceux qui en bénéficient le plus.

Cette définition très restrictive du robot tueur envisagée par HRW comme une interdiction en amont d’une réalité pourtant déjà effective, amène plusieurs réflexions, dont une centrale : interdire les seuls robots tueurs entièrement autonomes va-t-il changer quelque chose au développement des robots tueurs en général, ces systèmes « hautement autonomes », capables de se repérer, de changer de comportement en fonction de leur environnement, de cibler des ennemis, d’effectuer des analyses prédictives sur le terrain ? A la lecture de l'ouvrage d'Eric Martel, il semble bien que non.

Le robot tueur autonome n’a pas besoin d’appuyer sur la gâchette pour être un danger majeur

L’approche de HRW est problématique pour plusieurs raisons, raisons que souligne Eric Martel dans son dernier ouvrage « Robots tueurs ». La première est basée sur les définitions militaires des trois « modes » applicables aux « armes intelligentes », donc équipées de capteurs et de logiciels d’intelligence artificielle : « humain dans la boucle », « humain sur la boucle », « humain en dehors de la boucle » (human in the loop, human on the loop, human out of the loop).

Comme l’explique très bien Eric Martel, le principe de l’humain dans la boucle est aujourd’hui appliqué avec les drones de combat : l’humain supervise un système « semi-autonome » et décide lui-même ce qu’il doit faire. Mais, comme l’explique l’auteur, « Cette supervision correspond de plus en plus à un droit de véto sur les propositions de décisions qu’émet le système autonome. Comme le montre l’exemple de l’USS Vincennes (un système semi-automatique américain qui a confondu en 1988 un avion de ligne iranien avec un avion de chasse F14, les opérateurs militaires ont fait confiance au système et firent alors feu sur le vol Iran Air 655, ndlr), l’opérateur aura tendance à suivre les préconisations de l’ordinateur, d’autant plus que dans le feu de l’action, il n’aura plus le temps de réfléchir ».

Cette première approche, déjà en place depuis 30 ans n’est contestée par personne et ne concerne pas la campagne de l’ONG. Tout le problème réside donc dans le fait que la deuxième approche, celle de "l’humain sur la boucle », n’est pas non plus concernée par l’interdiction demandée.

Cette approche est pourtant très inquiétante et rejoint à une nuance près le concept des robots entièrement autonomes devant être les seuls interdits, selon l’ONG. Elle est décrite précisément par Eric Martel comme  celle où « L’humain est « sur » la boucle, c’est-à-dire qu’il se contente de superviser les actions du drone (ou de n’importe quel robot tueur autonome, ndlr). Connaissant la rapidité d’action de ces appareils , il s’agira plus ici d’un contrôle a posteriori. Officiellement, l’être humain sera toujours aux commandes, même s’il ne contrôlera plus grand chose ».

Sur la troisième approche, celle où l’homme n’est plus dans la boucle, c’est-à-dire celle des robots entièrement autonomes, tels que ceux concernés par l’interdiction demandée par Human Rights Watch, l’auteur et spécialiste de ces technologies est très clair : « Les militaires n’utiliseront jamais d’appareils appartenant à la troisième catégorie : human out of the loop qui suppose que l’humain est complètement en dehors de la boucle de décision, en pratique, la différence sera ténue et les engins « supervisés » fonctionneront de manière quasi autonome ».

Cette vision limitée et restrictive de l’ONG à propos des « robots tueurs » date de 2012, et n’a pas changé depuis lors (video explicative sur la page « robots tueurs » de HRW) :

La guerre robotisée a commencé et va s’amplifier

Human Rights Watch a le mérite de mettre en lumière le problème de la guerre robotisée qui se profile avec le développement déjà très avancé d’armes autonomes. La France est d’ailleurs pointée du doigt sur ce sujet, mais avec une contradiction certaine : l’ONG demande l’interdiction des armes entièrement autonomes « futures », qu’elle dénonce pourtant dans l’arsenal français d’engins militaires …déjà existants ! La nouvelle torpille F21, le drone Remorina, le mini char de Milrem Robotic/Nexter, le 4x4 blindé Dagger sont des équipements autonomes capables de fonctionner de manière… entièrement autonome.

Les innovations françaises dans le domaine sont nombreuses et l’ONG s’inquiète de leur déploiement à juste titre, mais en parallèle elle participe à une confusion sur le sujet qui mène immanquablement à une mauvaise approche. Cette campagne d’interdiction des robots tueurs entièrement autonomes est en réalité gagnée d’avance : personne — et surtout pas les militaires eux-même — comme le souligne Eric Martel, ne veut laisser des engins militaires destructeurs s’autonomiser entièrement où que ce soit, dans une approche « humain en dehors de la boucle ». Il est par contre déjà acquis que l’autonomie des matériels militaires autonomes de supervision « sur la boucle » sont en place et ne seront donc pas interdits…

Les IA en apprentissage automatique au cœur du problème

L’ONG dénonce aussi le danger des robots entièrement autonomes par les "faiblesses" des IA actuelles, particulièrement dans la reconnaissance faciale. L’exemple des membres du Congrès américain, considérés comme des criminels par l’IA d’Amazon, ou la difficulté des IA à reconnaître les visages des personnes à la peau foncée, seraient dues — d'après la l'ONG — dans ce dernier cas, au fait que « les personnes ne rentrant pas dans la « norme » des programmateurs seraient plus vulnérables aux erreurs des algorithmes ».

La réalité est toute autre, comme les spécialistes en intelligence artificielle l’expliquent très bien : les IA ne détectent pas des visages, ni des engin ennemis ou des combattants, mais analysent des modèles de données complexes et sont en permanente évolution, sans intervention humaine. Ce qui permet d’établir que les systèmes d’apprentissage profond sont justement totalement indépendants dans leurs résultats et leur fonctionnement… de leur programmation informatique initiale. Les « normes » des "programmateurs", comme le prétend HRW, n’existent pas et n'ont donc aucune influence. L’un des spécialiste de l’IA chez Google, François Chollet souligne d’ailleurs cet aspect inquiétant et non-maîtrisé des IA développées aujourd’hui.

La France gagne du temps pour accepter une interdiction de "l’autonomie totale" des armements, mais l’enjeu n’est pas là. L’enjeu est celui des armements équipés de systèmes informatiques en apprentissage profond, donc de l’intelligence artificielle dans le monde militaire. Celle-ci est déjà à l'œuvre, et aucune régulation n’est envisagée à son égard, tout comme dans le domaine civil. L’interdiction des robots tueurs entièrement autonomes si elle est survient — et la France a déjà indiqué par la voix d’Emmanuel Macron qu’elle y est favorable — ne changera donc pas grand chose à la donne.

Au lieu de « Terminators » qui traqueront des êtres humains, les cibleront et les tueront, il y aura des « Terminators » qui traqueront des êtres humains, les cibleront et qui tueront… grâce à la main humaine qui appuiera sur le joystick de tir en dernière instance. Une nuance très hypocrite sur laquelle Eric Martel insiste : les robots tueurs ne seront pas interdits, ils seront juste des machines autonomes avec une supervision humaine « sur la boucle ». Et c’est là le véritable danger. Pas qu'ils appuient eux-mêmes sur la gachette.

Mise à jour du 11/11/2018

Le quotidien britannique The Guardian a révélé ce samedi 10 novembre 2018, après une enquête d'un an, que des robots tueurs autonomes sont financés et développés par le ministère de la Défense du Royaume-Uni  (Article : "Britain funds research into drones that decide who they kill, says report") : 

Un drone UAV Reaper de la RAF. (Photo : Cpl Steve Bain, ABIPP / MoD / Crown C / PA - The Guardian)

"Selon un nouveau rapport, le ministère de la Défense finance actuellement des technologies qui pourraient libérer une génération de systèmes d'armes meurtrières ne nécessitant que peu ou pas d'interaction humaine. Le développement de systèmes militaires autonomes — qualifiés de «robots tueurs» par des militants qui leur sont opposés — est profondément controversé. (…) Le gouvernement insiste sur le fait qu'il "ne possède pas d'armes entièrement autonomes et n'a pas l'intention de les développer". Mais depuis 2015, le Royaume-Uni a refusé de soutenir les propositions avancées par l'ONU pour les interdire.

À présent, à l’aide de données gouvernementales, de demandes d’accès à l’information et de sources ouvertes, une enquête longue d’une année révèle que le ministère de la Défense et les entrepreneurs de la défense financent des dizaines de programmes d’intelligence artificielle destinés à être utilisés en période de conflit. «Malgré les déclarations publiques affirmant que le Royaume-Uni n'avait pas l'intention de développer des systèmes d'armes autonomes et meurtriers, il existe des preuves tangibles que le ministère de la Défense, des entrepreneurs militaires et des universités britanniques participent activement à la recherche et au développement de la technologie sous-jacente dans le but de l'utiliser dans des applications militaires », a déclaré Peter Burt, auteur du nouveau rapport Off the Leash de l'ONG Drone Wars UK, qui milite contre le développement de systèmes sans équipage."