Assistants vocaux "intelligents" : quand les constructeurs font écouter les conversations des utilisateurs

Si vous êtes l'une des 2,5 milliards de personnes utilisant un assistant vocal numérique, cette information devrait vous intéresser : vos conversations peuvent être écoutées par un employé payé pour améliorer le logiciel de reconnaissance du langage. Tous les constructeurs de ces appareils (Apple, Google, Microsoft et Amazon principalement) ont besoin de faire superviser leurs intelligences artificielles de reconnaissance du langage, mais dans le cas des révélations de Bloomberg sur le logiciel Alexa de l'enceinte Echo d'Amazon, c'est la méthode employée pour cette supervision qui pose question. Tout comme les révélations en mai 2018 de La Quadrature du Net (LQDN) au sujet de Cortana, l'assistant artificiel de Microsoft…

Enregistrer pour améliorer

Une enceinte connectée de type assisant personnel vocal est un appareil numérique équipé d'un micro, de hauts parleurs et d'un logiciel de traitement du langage naturel capable d'agir sur ordre vocal des utilisateurs. Le possesseur d'une enceinte intelligente Echo d'Amazon, par exemple, peut demander à son appareil de lire de la musique, des vidéos, donner la météo ou le trafic routier, prendre des rendez-vous ou encore activer des alarmes. Mais ces assistants "intelligents" sont en apprentissage permanent : leur capacité à comprendre parfaitement la "voix de leur maître" n'est pas complète dès la première utilisation. C'est pourquoi Amazon effectue des enregistrements à distance des échanges entre l'enceinte et ses utilisateurs.

Cet enregistrement à distance est connu puisqu'il est nécessaire pour améliorer le logiciel Alexa ou Cortana de Microsoft, et les utilisateurs sont incités à l'activer : les logiciels d'IA (intelligence artificielle) ne s’améliorent avec le temps que si les données auxquelles ils ont accès peuvent être facilement analysées et classées. Dans le cas de la reconnaissance de langage, ces IA n'ont pas la possibilité de s’entraîner seules pour y parvenir. Le logiciel Alexa vous a peut-être mal entendu, ou bien encore estime-t-il que vous ne vous posez pas une question sur une ville mais plutôt sur un quartier dans une autre ville ? Les nuances pour la reconnaisance de langage naturel sont innombrables, avec les accents, les argots ou les dialectes, certaines intonations qui n'ont peut-être pas été prises en compte lors du processus de développement d'Alexa pour cette langue. C'est à partir de ces limitations et contraintes que l'action humaine intervient par la "révision vocale" : une opération dont les utilisateurs n'avaient jusque-là pas été informés par le constructeur.

Ecouter, transcrire, corriger

Les enregistrements audio des enceintes intelligentes Echo sont donc écoutés par plusieurs milliers de salariés d'Amazon, disséminés dans plusieurs pays, selon l'enquête de Bloomberg : du Costa Rica, à l'Inde en passant par Boston ou encore la Roumanie, ces "réviseurs" doivent "vérifier environ 1 000 fichiers audio pour chaque équipe par jour", ont expliqué deux personnes employées par Amazon à Bloomberg.

Les enregistrements une fois écoutés sont transcrits, puis "annotés" et renvoyés pour l'amélioration du logiciel Alexa. Le principe de cette "révision" est une tâche répétitive, celle d'écouter des voix humaines pour pointer les erreurs d'interprétation de l'IA, les corriger textuellement, pour qu'ensuite celle-ci les "intègre" et ne les reproduise pas…
 L'entreprise Microsoft effectue le même type d'opérations pour améliorer son assistant virtuel "Cortana" et utilise elle aussi ce qui est nommé avec humour par certains chercheurs, des "dresseurs d'IA". Ces personnes peuvent être des salariés de l'entreprise mais sont fréquemment des travailleurs indépendants, comme c'est le cas de Julie qui témoigne auprès de LQDN de son activité pour Microsoft comme "transcripteuse" de l'assistant vocal Cortana : "J’ai travaillé comme transcripteuse (‘transcriber’) pour améliorer la qualité de la version française de Cortana, « votre assistante personnelle virtuelle » proposée par Microsoft (…) Microsoft, voulant améliorer les capacités de compréhension de Cortana, collectait les données des utilisateurs ‘consentants’. Donc, quand ces utilisateurs s’adressaient à Cortana, celle-ci collectait, enregistrait ce qu’ils disaient. Ensuite, Microsoft récupérait tout ça, envoyait une partie des enregistrements à la compagnie pour laquelle je travaillais, et celle-ci mettait le tout sur notre plate-forme de télétravail".

Le consentement évoqué des utilisateurs n'est pas celui d'accepter que des opérateurs humains écoutent leurs conversations, mais seulement celui que "des enregistrements soient effectués pour améliorer le logiciel". L'utilisateur final des enceintes pense en général que cette amélioration par les enregistrements est purement automatisée et logicielle. Nulle part l'écoute par des êtres humains ne lui est indiquée, comme le souligne Bloomberg.

L'intimité et la vie privée en question

Les "réviseurs" travaillant pour Amazon, Google, Microsoft ou Apple écoutent des séquences courtes de quelques secondes à plusieurs minutes des utilisateurs des assitants. Dans le cas d'Amazon et son enceinte Echo, les "réviseurs" declarent s'être retrouvé à entendre des situations très dérangeantes, voire criminelles : deux employés roumains affirment avoir entendu ce qu'ils soupçonnent être un abus sexuel, par exemple. Dans ces cas-là, l'entreprise Amazon n'a rien prévu : la protection des données des utilisateurs et leur anonymat passe avant tout. Des employés de Boston témoignent de l'écoute de scènes intimes : une femme chantant sous la douche, un enfant appelant à l'aide, etc. Pour "évacuer" — lorsque des écoutes les perturbent — ces réviseurs expliquent qu'ils partagent les enregistrements sur un canal de communication privé avec d'autres salariés "réviseurs".

Julie, la transcripteuse de Microsoft pour Cortana explique que de nombreuses données privées sont accessibles par les enregistrements : "Les utilisateurs peuvent dicter du texte : messages, documents texte (résumés de cours, comptes-rendus professionnels…), adresses GPS, courriers administratifs (avec par exemple leur numéro de sécurité sociale), etc. ; nous avions accès à tout ça."

Et bien entendu l'intimité sexuelle est présente, comme Julie l'explique : "On avait des conversations diverses, vraiment toutes sortes de choses, notamment souvent les séances sexcams de certains utilisateurs qui avaient besoin d’un service de traduction pour se faire comprendre, et dans ces cas-là les transcriptions étaient très explicites (parfois amusantes, parfois glauques). Je me demandais à chaque fois si ces gens avaient conscience qu’une personne extérieure allait entendre leurs petits délires sexuels. Cortana ne fait pas le tri…"

L'amélioration des IA par la main ou l'oreille humaine commence à être dévoilée via les assistants intelligents, avec leur lot — une fois encore — de problèmes touchant à la vie privée. Les utilisateurs donnent des informations confidentielles à des milliers d'opérateurs sans aucune garantie que celles-ci ne soient pas utilisées à des fins d'identification. L'encadrement de ces opérateurs est très faible, les règles sur la protection de la vie privée quasi inexistantes selon les témoignages de ces "dresseurs d'IA" : Julie n'avait pas de contrat de travail, aucun accord de confidentialité et a pourtant retranscrit des milliers de conversations privées, de recherches d’information, noms et coordonnées personnelles de personnes utilisant des produits Microsoft…

Avec ces dévoilements sur les enregistrements et écoutes des enceintes connectées, l'intelligence artificielle dévoile une part d'elle même moins fascinante qu'à l'habitude : celle de l'exploitation humaine de ses dresseurs et "espions malgré eux", sans qui elle ne serait pas assez intelligente pour accomplir les tâches que les constructeurs lui ont assignées.