Armes autonomes : les "robots tueurs" n'existent pas, selon une mission d'information française

C'est certainement la figure du Terminator — popularisée par le film éponyme de James Cameron — qui est peut-être en cause dans la nouvelle définition et approche que les rapporteurs de la mission d'information sur les systèmes d'armes létaux autonomes (SALA) ont donné dans leur rapport, ce 22 juillet 2020. Pour Fabien Gouttefarde (LREM) et Claude Ganay (LR), les SALA n'existent pas et "Terminator ne défilera pas le 14 juillet", comme Florence Parly l'avait déclaré en 2019, puisqu'ils devraient — selon eux — souscrire à cette définition :

Il n'y a aucun doute : aucun SALA de ce type n'existe aujourd'hui et n'existera probablement jamais. Aucune armée n'accepterait de ne pas avoir de contrôle sur une machine de guerre qu'elle enverrait sur un champ de bataille, au point d'être forcée de la détruire pour la stopper. Une sorte de machine dont les concepteurs auraient été incapables de programmer la prise en main ou son arrêt à distance et qui aurait en plus ses propres objectifs…

TV5 JWPlayer Field

Chargement du lecteur...

Extrait de la Commission de la Défense du 22 juillet 2020 sur les systèmes d'armes létaux autonomes

La campagne de Human Rights Watch (HRW) pour interdire les "robots tueurs entièrement autonomes" — un peu plus nuancée — posait déjà problème sur la définition mouvante des SALA. Leur dangerosité, par l'utilisation de l'intelligence artificielle, n'était pas liée — selon HRW — à leur capacité à participer à des opérations militaires, mais seulement à ne pas tirer eux-mêmes sur une cible humaine. Pour Human Rights Watch, n'importe quel système militaire capable de cibler des ennemis par lui-même, s'il laisse l'action finale de tuer ces ennemis à des opérateurs humains, ne rentre pas dans la définition des robots tueurs à bannir : les robots tueurs pleinement autonomes, éliminant eux-mêmes des cibles, comme le Terminator.

Éric Martel, chercheur au CNAM en sciences de l'action, auteur de "Robots tueurs — la guerre déshumanisée, les robots et drone autonomes visent zéro mort" souligne ce paradoxe  : "Les militaires n’utiliseront jamais d’appareils appartenant à la troisième catégorie de type human out of the loop qui suppose que l’humain est complètement en dehors de la boucle de décision. En pratique, la différence est ténue et les engins supervisés fonctionnent souvent de manière autonome, même si des opérateurs sont censés les contrôler".

Selon le chercheur, à la lecture du rapport, un autre problème ressort de façon saillante : "On fait comme si les voitures Tesla n'existaient pas. On voit que les Tesla ont des accidents sérieux, alors que par définition ce sont des véhicules supervisés. Mais dans ce rapport, on fait comme si les engins autonomes supervisés ne posaient pas de problème".

A lire : Intelligence artificielle : les robots tueurs peuvent-ils échapper à notre contrôle ?

La définition pure et parfaite des SALA

Si le diable se loge dans les détails, il est alors à l'œuvre dans cette problématique de l'intelligence artificielle arrivant sur le champ de bataille et pouvant participer à des opérations militaires. Les systèmes autonomes embarqués dans des avions, des sous-marins, des drones, chars d'assaut, existent déjà et les possibilités qu'ils offrent sont très importantes. Le rapporteur Fabien Gouttefarde explique d'ailleurs que le système de guidage de "bombe planante" israélienne Spice 250 "avec sa base de données embarquée, comprenant jusqu'à 300 cibles modélisées en 3D, offre une capacité de reconnaissance de la cible qui a été désignée, laquelle peut se doubler d'une acquisition automatique. Si jamais la cible principale n'était pas trouvée, l'arme est programmée à l'origine pour attaquer une cible secondaire, également en mémoire. Cette arme a déjà été utilisée en Syrie contre des PC de drones."

Malgré toute l'autonomie de cette bombe volante — qui sélectionne et détruit des cibles sans action humaine, est capable de choisir des cibles secondaires d'elle-même si elle ne trouve pas les cibles primaires —, le rapporteur Fabien Bouffetarde explique que celle-ci "n'est pas un système d'arme létal autonome, puisque ces systèmes autonomes n'existent pas, dès lors que vous les définissez — comme nous l'avons fait et comme la France l'a fait dans les instances internationales —, de manière pure et parfaite, c'est-à-dire une arme qui s'octroie ses propres normes. On en est loin, parce qu'elle se retournerait contre ses concepteurs." L'autonomie des armes létales, selon ce rapport d'information, n'est donc plus dépendante des capacités des systèmes qui les gèrent mais de la définition "pure et parfaite" établie par la France. Celle d'un système "qui s'octroie ses propres normes". Ces systèmes qui pourraient se retourner contre ses concepteurs, donc des systèmes de science-fiction, tels, encore une fois, le Terminator de James Cameron.

TV5 JWPlayer Field

Chargement du lecteur...

La définition française est donc désormais tellement restrictive qu'elle ne pourrait contenir en réalité aucun système autonome militaire, même les plus sophistiqués. Le test de micro-drones américains intelligents en essaim, Perdix, effectué en janvier 2017,  marque pourtant la maturité militaire de ce type de technologies autonomes, bourrées d'intelligence artificielle. Un système qu'Éric Martel qualifie pour sa part de totalement autonome : "Un essaim fonctionne selon la théorie des systèmes, ce sont des acteurs qui sont unitairement bêtes mais intelligents en groupe et ont comme logique, justement, de faire émerger une stratégie qui leur est propre. En interaction avec d’autres essaims, ils deviennent quasiment incontrôlables. Ils constituent d'ailleurs l'un des problèmes les plus aigus des systèmes d'armes autonomes."
 
D'une taille de 15 cm, les micro-drones sont capables de confondre les défenses ennemies et de bloquer les signaux radar. Les drones ne sont pas des individus synchronisés préprogrammés, mais un organisme collectif, partageant un cerveau distribué pour la prise de décision et s'adaptant les uns aux autres comme des essaims dans la nature. Composé de 103 micro-drones Perdix, il s'agit du plus grand test jamais réalisé pour la technologie en essaim de pointe. (AiirSource est une chaîne dédiée aux applications militaires américaines)

Auditionné par les rapporteurs, Thierry Berthier, chercheur associé au centre de recherche des écoles de Saint-Cyr (CREC), a défini une échelle des systèmes d'armes pouvant être déclarées selon lui comme autonomes ou simplement semi-autonomes, ou tout du moins ne rentrant pas dans la définition des SALA. C'est grâce à cette échelle, allant de L0 à L5 (niveau 0 à 5) que tous les systèmes autonomes deviennent semi-autonomes ou assimilés comme tels grâce à la supervision humaine, puisque seuls les systèmes devant être détruits  pour être stoppés, rentrent dans l'échelle L5, correpondant aux seuls SALA. Les autres niveaux, selon le chercheur, sont des SALSA (Systèmes d'armes létaux semi autonomes). Les critères n'étant pas exclusifs, il suffit que l'un des critères soit présent pour faire basculer un système autonome dans la catégorie semi-autonome, ou sous contrôle humain, donc ne devant pas être interdit, selon les rapporteurs :
 

Le niveau 5 à interdire comme système autonome, pourrait néamoins correspondre aux missiles intelligents selon Éric Martel, mais rien d'autre : "Les Russes ont un projet de missile nucléaire intelligent qui doit passer son temps à tourner autour de la Terre et qui doit choisir lui-même ses cibles. Mais c'est un missile dont l’objectif, par essence, est de s'auto-détruire, donc c'est logique qu'on ne puisse pas prendre le contrôle dessus."

Rester dans la course à l'intelligence artificielle ?

Le rapport d'information sur les SALA est contradictoire, comme le soulignent eux-mêmes les deux parlementaires qui l'ont rédigé. D'un côté, leur définition ne correspond à aucun système d'armement autonome existant ou futur selon eux, tout en soulignant que les capacités offertes par l'intelligence artificielles dans le domaine militaire sont énormes et pourraient donner des avantages aux concurrents de la France ou à des groupes terroristes. Le principe à retenir, serait avant tout de rester dans la course aux armements autonomes — forcément pilotés par de l'intelligence artificielle —, pour ne pas se voir dépassés par les pays qui les développent de manière intensive. Ou ne pas être à la hauteur face à des agressions terroristes utilisant ce type de technologies.

Pourtant, en janvier 2019, Patrice Caine, le président du groupe Thalès déclarait : "Il est urgent que la communauté internationale se dote d’un cadre réglementaire fort pour proscrire la création de "robots tueurs" autonomes." Le Groupe Thalès est spécialisé dans l'électronique en aérospatiale et en Défense. Cette déclaration avait fait grand bruit. L'un des pionniers canadiens de l'intelligence artificielle était présent aux côtés du président du groupe Thalès, Yoshua Bengio, qui appelait pour sa part à un cadre réglementaire clair et mettait en garde : "Il y a deux aspects à considérer à propos des armes létales autonomes, qu’on surnomme les "robots tueurs" et qui n’ont rien d’un film mais constituent au contraire un enjeu actuel pour les armées : il y a l’aspect moral et l’aspect sécuritaire". Ce chercheur du Mila (Montreal Institute for Learning Algorithms, Institut de Montréal des algorithmes apprenants) prévenait des possibilités terrifiantes que les SALA pourraient engendrer :  "Si ces armes deviennent faciles à acheter car beaucoup d’entreprises en fabriquent, pensez aux drones construits avec des armes et de la détection faciale : vous aurez alors des assassinats ciblés visant des groupes de population en particulier".

L'aspect politique pour une recherche d'accords d'un encadrement international des SALA semble au cœur du rapport, lié à celui de la compétition dans le domaine de la recherche et du développement dans l'intelligence artificielle. Cet aspect est particulièrement souligné dans ses conclusions :

Cette vision française d'un développement de l'intelligence artificielle pour les armes autonomes, sans interdiction préventive avec des compromis peu contraignants — puisque ne touchant que les armes "de type Terminator" — est en réalité déjà actée depuis le discours de la ministre de la Défense Florence Parly, du 05 avril 2019. Dans son discours, Florence Parly indiquait ce que les deux parlementaires Fabien Gouttefarde et Claude Ganay ont confirmé avec leur mission d'information : "La position française est sans ambigüité, le président de la République a été parfaitement clair : la France refuse de confier la décision de vie ou de mort à une machine qui agirait de façon pleinement autonome et échapperait à tout contrôle humain (…) Comme je l’ai annoncé il y a un an nous investirons 100 millions d’euros par an de 2019 à 2025 pour le coeur de l’IA. Et c’est en réalité bien plus si l’on compte tous les systèmes qui seront irrigués par l’IA, car cet effort touche absolument tous les programmes d’armement, du Rafale au Scorpion, de l’espace au combat naval collaboratif (…) Nous développerons l’IA dans tous nos systèmes. Mais tous seront conçus pour être opérationnels en toutes circonstances, c’est-à-dire y compris dans les conditions les plus dégradées."

Reste maintenant à la France de convaincre le Parlement européen de changer son texte adopté sur les armes autonomes, le 12 septembre 2018 à Strasbourg, ce dont le député Fabien Gouttefarde s'est inquiété lors de sa présentation en Commission. Malgré une définition encore assez floue et sujette à interprétation, ce texte pourtant non-contraignant pourrait freiner le développement d'armes autonomes, selon le rapporteur.

Une voiture autonome, si elle est capable de transporter des être humains sans aucune assistance humaine, éviter des obstacles, respecter les limitations de vitesse, se rendre à la bonne destination, devient-elle semi-autonome parce qu'on peut la contrôler à tout moment ? Dans le cas de la définition française actuelle des SALA, il semble que ce soit le cas. Les voitures autonomes — selon cette nouvelle définition —, pour être pleinement autonomes, devraient s'octroyer leurs propres normes, être en mesure de se retourner contre leur conducteur et n'être arrêtable qu'en les détruisant. Mais avec cette définition, il n'est pas certain que beaucoup d'êtres humains acceptent de les utiliser. Sachant que personne n'a pu encore déterminer jusqu'à quel point une machine dotée d'un système autonome peut être fiable, "les militaires de demain, accompagnées de machines intelligentes et autonomes risquent de ne plus bien savoir ce qu'il se passe vraiment, avec tous les risques que cela suppose", conclut Éric Martel.

En complément :

• Robots tueurs : un problème mondial méconnu
• Robots tueurs : le problème reste entier et alarme les spécialistes
•  Robots tueurs autonomes : malgré une mise en garde de l'ONU, leur développement continue