Black Mirror, Boston Dynamics et Systèmes d’Armes Létaux Autonomes

La série d’anthologie Black Mirror a eu, dès la diffusion en 2011 de son pilote choc, la réputation de proposer de puissantes dystopies où la technologie a bouleversé des pratiques quotidiennes.
Nous consacrons ce billet à une technologie particulière : celle des ‘robots-tueurs’ de l’épisode Metalhead. Ressemblant à s’y méprendre aux prototypes de la firme Boston Dynamics, ils font aussi écho à une technologie militaire en pleine expansion et au cœur de nombreux débats : les Systèmes d’Armes Létaux Autonomes…

La série d’anthologie Black Mirror a eu, dès la diffusion en 2011 de son pilote choc, la réputation de proposer des dystopies où la technologie a bouleversé des pratiques quotidiennes. La puissance de ces dystopies est qu’elles concernent presque systématiquement un futur proche. Chaque scénario met en avant un nombre limité de technologies qui constitue bien souvent le moteur principal du récit. Et si Black Mirror est tant analysée et louée, c’est parce que les technologies mises en scène (ou les pratiques qui y sont liées) trouvent toutes un écho dans notre époque contemporaine.

Mais en dehors de pousser au débat pour la simple évocation de technologies, la série possède-t-elle une ‘force de frappe’ argumentative pertinente ?

Pour essayer de répondre à cette question, nous nous appuierons sur un unique épisode et une unique technologie.

L’épisode en question est le cinquième de la quatrième saison. Il s’intitule Metalhead. Il a été scénarisé par Charlie Brooker, le créateur de la série, réalisé par David Slade – à qui l’on doit notamment les long-métrages Hard Candy (2005), 30 jours de nuit (2007) ou bien encore le troisième volet de la saga Twilight (Eclipse, 2010) -, et diffusé le 29 décembre 2017 sur la plateforme Netflix.

Metalhead est un segment à part au sein d’un ensemble par essence déjà hétérogène. Il est l’épisode le plus court et le seul tourné en noir et blanc, et préfère au foisonnement de détails d’un futur proche plausible le minimalisme d’un futur post-apocalyptique.

Minimalisme esthétique tout d’abord. En noir et blanc donc, la trame propose en tout et pour tout quatre types de décors : un entrepôt, une forêt, une lande qui n’est pas sans rappeler l’Ecosse et enfin une maison de campagne de style moderne sans être futuriste.

Mais aussi un minimalisme narratif. L’épisode débute par une expédition de trois individus dans un entrepôt. Les subtilités des premiers dialogues nous fournissent quelques informations de contexte : beaucoup d’espèces vivantes ont été exterminées, les humains se cachent pour survivre. L’expédition dans l’entrepôt a pour objectif de trouver un élément qui soulagerait les derniers instants d’un enfant mourant, neveu d’un des trois personnages. Il ne fait aucun doute que l’expédition est risquée. On en ignore pour l’instant la raison. Après avoir trouvé ce qu’ils cherchaient, nous découvrons l’objet de leur crainte. Il s’agit d’un chien-robot en sommeil, manifestement programmé pour tuer tout être humain. Ce dernier s’active et la traque commence. Très rapidement, il ne reste plus qu’un personnage : la femme dont le neveu est malade. Elle restera, jusqu’à la fin, l’unique personnage humain mis en scène. Tout l’épisode est une traque qui aboutit à la maison de campagne. La femme réussit finalement à détruire le chien-robot, mais ce dernier a la capacité automatique (déjà à l’œuvre lors de son activation dans l’entrepôt) de projeter des petites balises GPS dont plusieurs viennent se ficher dans le corps du personnage. Sachant qu’elle ne pourra par toutes les extraire, et que d’autres chiens-robots vont se mettre à la traquer, la femme se tranche la gorge.

La technologie sur laquelle nous allons nous pencher est évidemment celle du robot-tueur, et ce pour deux raisons. Esthétiquement, il ressemble à s’y méprendre aux chiens-robots de la firme Boston Dynamics, dont les vidéos de tests de leurs prototypes font régulièrement le ‘buzz’ sur internet, suscitant des réactions intéressantes à analyser. Deuxièmement parce que ces robots-tueurs font écho à une technologie au cœur de nombreux débats actuels et dont l’émergence serait imminente : celle des Systèmes d’Armes Létaux Autonomes (ci-après SALA), qui est le terme consacré de ce que l’on pourrait appeler les robots-tueurs.

Cette technologie a une existence médiatique assez faible par rapport aux bouleversements qu’elle pourrait apporter dans la tenue de conflits armés. Pour beaucoup, il s’agit en effet de la troisième grande révolution en matière de techniques de guerre, après la poudre à canon et les armes atomiques.

Et des débats d’experts, essentiellement juridiques, ont régulièrement lieu. Le cas le plus notable est une réunion annuelle prenant place depuis 2014 au siège de l’Organisation des Nations Unies à Genève. Cela souligne le fait que « la possibilité de fabriquer de telles armes n’est plus imaginaire, elle est effective » (Faes 2016, p108). De ce fait, il est d’autant plus intéressant d’analyser la façon dont Black Mirror évoque cette technologie et la manière dont elle résonne vis-à-vis des débats actuels.

Nous évoquerons d’abord les SALA : en les définissant, en présentant la situation actuelle des débats à son propos puis en abordant leur avenir potentiel, nous pourrons ensuite déterminer le placement de Black Mirror à leur propos. Quelle part est (pour le moment) purement fictionnelle, quelle part renvoie à des éléments tangibles, etc. ?

Nous analyserons par la suite la stratégie dramaturgique de cet épisode, qui utilise notamment une esthétique déjà connue de son public pour traiter d’une technologie qui ne dispose pas de repères visuels dans l’imaginaire collectif.

1 °/- Les Systèmes d’Armes Létaux Autonomes

A. Une guerre terminologique

On assiste actuellement, dans les débats portant sur les SALA, à ce que l’on pourrait appeler une guerre terminologique entre opposants et défenseurs de la technologie. En effet, bien qu’il existe un consensus (fragile et encore débattu) autour de ce que l’on pourrait définir par SALA, les termes même de sa définition sont porteurs d’ambiguïté, ambiguïté dont se servent l’un ou l’autre camp. La grande majorité des débats ont lieu pendant les réunions annuelles sur la question au siège de l’ONU à Genève (réunions informelles d’experts prenant place durant la Convention sur Certaines Armes Classiques – CCAC).

La question d’une définition précise est capitale : de la difficulté de circonscrire un objet découle sans doute celle de le réglementer.

D’où l’importance de débats où plusieurs groupes d’experts ont ainsi « pour mandat d’apporter des clarifications terminologiques, d’identifier les problèmes soulevés et de formuler une série de recommandations générales alimentant ainsi l’analyse qu’il convient d’apporter à ce phénomène » (Ancelin 2016, p3).

Avant de continuer, proposons tout de même une définition du SALA, telle que la propose Jean-Baptiste Jeangène Vilmer. A noter toutefois qu’il est un opposant assumé à une interdiction préventive et qu’il plaide pour l’élaboration d’un code de ‘bonnes pratiques’. Néanmoins, il apporte des points intéressant que nous évoquerons par la suite. Une définition acceptable du SALA serait donc : « un système d’arme qui, une fois activé, est capable de décider seul, c’est-à-dire sans intervention ni supervision humaine, du ciblage et du déclenchement de la frappe, en fonction d’un environnement changeant auquel il s’adapte » (Vilmer 2014, p155). Sont donc dégagés de l’appellation les drones télé-opérés ou bien encore les armes automatiques (telles que les mines antipersonnel par exemple). Vilmer soulève aussi l’importance de ne pas se référer aux SALA en utilisant des termes tels que ‘robots-tueurs’ qui seraient source de fantasmes contre-productifs. La saga Terminator est par exemple régulièrement citée (dans le titre même des publications scientifiques), et souvent dans une perspective alarmiste.

Quatre pôles sont engagés dans les débats autour de la question des SALA : les experts d’institutions en charge des questions juridiques relatives à la guerre et aux armements (tout particulièrement les experts de l’ONU) ; les ONG de promotion de la paix et des droits de l’homme ; les chercheurs et ingénieurs des domaines impliqués dans la conception des SALA (intelligence artificielle, robotique, etc.) ; et enfin les états eux-mêmes (et dans une moindre mesure les militaires).

Ces différents experts vont se diviser en deux camps : défenseurs et opposants, ceux qui préconisent une définition définitive et exhaustive des concepts avant toute discussion formelle (les défenseurs) et les abolitionnistes, prônant une tenue des débats en reportant les définitions.

Chacun des camps semble avoir ses raisons de discuter les termes, et tout particulièrement celui d’autonomie, qui pose le plus de problème.

On observe d’un côté une « stratégie attentiste de certains états » (Vilmer 2016, p120) qui consiste à « définir les SALA de façon très restrictive comme systèmes d’armes létaux pleinement autonomes, pour ensuite reconnaître que de telles armes incontrôlables ont peu d’intérêt opérationnel et ne seront donc sans doute jamais construites » (Vilmer 2014, p157). Ainsi les états pro-SALA sont ceux ayant bien évidemment les capacités de développer et déployer de tels armements : Etats-Unis, Russie, Chine, Japon, Royaume-Uni, Israël, France… En instaurant un seuil d’autonomie très élevé, ils pourraient ainsi supporter une interdiction, sachant pertinemment qu’elle n’affecterait pas les systèmes qu’ils souhaitent déployer.

On trouverait dans l’autre camp les ONG qui travaillent pour le développement de la paix et des droits de l’homme, et qui profiteraient « de l’ambigüité des termes pour intégrer au débat des armes existantes auxquelles ils s’opposent par ailleurs » (Vilmer 2014, p153).

Comment donc établir un régime juridique adéquat à propos de cette technologie ? Vilmer résume comme ceci la nature du problème : « La particularité des SALA est qu’il n’existe à leur sujet ni expérience ni compréhension communes » (Vilmer 2016, p121). Faut-il donc mettre en place une interdiction préventive ? Les défenseurs répondront que c’est se priver des applications civiles de ces armements, et que c’est surtout tourner le dos à une technologie qui pourrait permettre un plus grand respect du Droit International Humanitaire, et donc une guerre plus ‘propre’. Les opposants répondront eux que les SALA sont un nouveau moyen de déshumaniser la guerre en instaurant une asymétrie amorale, que le développement de robots létaux autonomes représente en soi un grand danger pour l’humanité, un grand danger qui se niche dans de nombreuses inconnues qui ne peuvent être résolues sans une mise en place effective de ces armements.

Nous avons brièvement défini les SALA et les problèmes que cela soulève. Reste à savoir où se place la technologie étudiée, à savoir les chiens-robots de Metalhead. Leur caractérisation à eux ne souffre d’aucune ambigüité : ils apparaissent comme pleinement autonomes. L’homme y est bien ‘hors de la boucle’ – off the loop, en opposition aux deux degrés précédents de l’autonomie, in the loop (l’humain décide d’engager la force) et on the loop (l’humain peut suspendre la force engagée).

Ce chien-robot serait donc le point culminant du SALA, celui que ses défenseurs jugeraient inadéquat car incontrôlable, et celui que les opposants craignent malgré tout de voir se développer.

Quels pourraient donc être les risques d’une démocratisation des SALA ?

B. Enjeux futurs d’une probable émergence des SALA

Le principal enjeu des SALA, à l’heure actuelle, est leur conformité au Droit International Humanitaire (DIH), qui a pour but de limiter les effets des opérations de guerre envers les populations et les infrastructures civiles. C’est pour cette raison que le débat est, pour l’instant, essentiellement juridique. Une des clefs de voûte argumentative, chez les partisans d’une interdiction préventive des SALA comme chez ceux d’une simple – et beaucoup plus souple – régulation, est la question de la conformité au DIH. Le respect de deux de ses principes fondamentaux est particulièrement mis en avant : les principes de distinction et de proportionnalité.

Le principe de distinction sous-entend qu’un SALA devrait être en mesure de reconnaitre un combattant d’un civil – ce qui est loin d’être aisé dans le cas d’un conflit asymétrique (de type guérilla ou lutte anti-terroriste) ou dans une situation urbaine. Il s’agit aussi de reconnaitre un combattant actif d’un combattant qui se rend, etc. Tout cela est bien plus simple pour un humain que pour une machine : là où l’humain aura une appréhension presque instinctive, ou innée, d’une situation donnée (langage non verbal, codes culturels, etc.), il faudra le programmer chez un robot. Or, il a été maintes fois démontré (notamment chez Collins, 1992) que la programmation informatique de savoirs tacites s’apparente peu ou prou à un puits sans fond.

En ce qui concerne le principe de proportionnalité, il s’agit « de mesurer le caractère éventuellement excessif des dommages collatéraux en fonction de l’avantage militaire attendu, ce qui implique une évaluation au cas par cas, dans un contexte stratégique et politique dont la machine n’a tout simplement pas connaissance » (Vilmer 2014, p161).

Notre chien-robot ne respecte évidemment aucun de ces deux principes : il ne semble pas faire la moindre distinction durant sa traque. Tout porte à croire qu’il est programmé pour tuer l’humain quel que soit son statut et sa situation.

C’est dans l’anticipation de risques plus abstraits – dans le sens où il faut anticiper, et donc imaginer des situations potentielles – que l’on va retrouver une possible origine à une situation similaire à celle présentée par Metalhead.

Ainsi, ces risques potentiels sont ceux qui reviennent régulièrement dans la littérature disponible : celui d’une nouvelle course à l’armement, de l’abaissement du seuil de recours à la force, ou encore « l’emballement des systèmes dans un phénomène de réaction en chaîne » (Vilmer 2016, p127), voire leur possible détournement (notamment dans un but terroriste).

Ces deux dernières propositions sont la source de l’anticipation proposée par Black Mirror.

La situation présentée dans l’épisode suppose ainsi un débordement du champ d’action de la guerre des SALA. Il y a donc deux possibilités. Soit ils ont effectivement été programmés pour agir comme ils agissent : l’espace spatio-temporel dans lequel s’inscrit l’épisode serait donc une zone de guerre, dans laquelle les SALA commettent des crimes de guerre dont les responsables sont et les programmateurs et les initiateurs de la mise en activité des systèmes. Ou bien alors il s’agit de SALA ayant dévié de leur champ d’action originel, sur lesquels tout contrôle a été perdu et qui agirait donc d’eux-mêmes. C’est ce dernier scénario qui est le plus souvent privilégié par la science-fiction, car il met en scène le fantasme cauchemardesque du retournement de la machine contre l’homme et du basculement des rapports de force et de contrôle (là encore, Terminator).

Une situation aussi extrême que celle narrée dans Black Mirror a beau être séduisante pour la construction d’une diégèse, la réalité qu’elle reflète est encore bien éloignée de la nôtre. Cependant même Vilmer, qui s’oppose pourtant à une interdiction préventive, signale que « c’est là une source légitime d’inquiétude, mais qui doit être relativisée ». (Vilmer 2016, p127).

C’est donc dans les petits rouages de la mécanique narrative que l’on trouvera les idées à mettre en rapport les plus pertinentes, et plus exactement dans le mode précis du fonctionnement du robot-chien : armes automatiques incapacitantes, indistinction des cibles, humain hors de la boucle de fonctionnement, etc.

En ce qui concerne les SALA, il y a les inconnues connues, que l’on peut anticiper, mais aussi les inconnues inconnues, qu’il n’est par nature pas possible de prévoir. C’est peut-être en définitive de celles-ci dont il faudrait le plus s’inquiéter.

En ce qui concerne Black Mirror, l’épisode ne semble pas illustrer de points pertinents contre les SALA : tout juste se borne-t-il à mettre en scène une situation catastrophique. Mais la série contribue à apporter une importante visibilité à des problématiques parfois ignorées du ‘grand public’, comme c’est le cas pour les SALA, et c’est peut-être là que se situe son apport le plus important pour notre sujet. L’épisode semble d’ailleurs obéir à une stratégie particulièrement élaborée pour rendre visuel un sujet en manque de visibilité, et ne trouvant autrement pas d’écho dans un imaginaire collectif. Qui a une image mentale de ce que serait un Système d’Arme Létal Autonome ? Un robot-tueur est tout de suite plus évocateur, ce qui explique encore l’emploi courant du terme, malgré son approximation difficile à conjuguer avec une volonté de réglementation. Nous verrons maintenant en quoi consiste la stratégie de Black Mirror.

2 °/- L’esthétique de Boston Dynamics

L’inspiration visuelle du chien-robot de Metalhead provient sans aucun doute des robots de la firme Boston Dynamics, spécialisée dans la robotique, notamment à usage militaire. Que l’inspiration ait été explicitement voulue par les concepteurs de l’épisode (ce qui semble très probable, tant les esthétiques sont similaires) ou non, le public, lui, n’a pas tardé à faire le rapprochement.

En haut, le robot de Metalhead, en bas celui de Boston Dynamics.

Boston Dynamics a une stratégie de communication assez développée. Via leur chaine Youtube (qui approche à ce jour le million d’abonnés), ils publient régulièrement des vidéos de test de leurs robots. Ces vidéos circulent rapidement sur internet, et sont abondamment commentées par des particuliers comme par la presse (The Guardian, The Washington Post, etc.). Le nom de Boston Dynamics a donc un écho chez une partie importante du grand public, et avec cet écho, une image de ses robots. Il est intéressant de constater que, bien que ces robots aient été développés avant la diffusion de l’épisode, une importante part des commentaires d’internautes fasse justement référence à l’épisode de Black Mirror. Cela souligne la réussite de la série dans le fait d’apporter une visibilité à un sujet en en proposant une visualisation. Les commentaires vont ainsi varier de l’admiration de l’ingénierie mise en œuvre à d’autres oscillant entre la crainte, le fait que Black Mirror nous aura prévenu ou encore qu’un jour ils (les robots) auront leur revanche…

La stratégie de Black Mirror est fine : en combinant un esthétique reconnue (les chiens robots de Boston Dynamics) à une technologie émergente (ou du moins en passe d’émerger), mais peut-être en manque de visibilité et surtout de repères visuels, l’épisode réunit une problématique contemporaine et un large public au courant des derniers coups marketings des firmes ayant pour credo l’innovation technologique. Les SALA étant des technologies militaires par définition, peu de chances que ceux qui les développent se répandent en contenu sur les réseaux sociaux. D’où le manque de visuel. Il s’agit donc d’un raccord que l’épisode opère : celui d’une technologie présente dans un imaginaire collectif à une autre qui est seulement fantasmée. D’un côté, les chiens de Boston Dynamics (en tout cas ceux dont le grand public a connaissance) ont un objectif d’assistance et sont donc loin de ce que l’on pourrait désigner par système d’armes létales autonomes. Les ‘robots-tueurs’, quant à eux, font plutôt référence à des Terminator ou des réplicateurs de Stargate SG1 (qui, c’est révélateur, seraient initialement des armes ayant échappé au contrôle de leurs créateurs, une espèce extraterrestre).

Ainsi, le slogan qu’arbore fièrement la firme sur la page d’accueil de son site internet, « changer votre idée de ce dont sont capables les robots », pourrait parfaitement s’adapter à Metalhead.

On pourrait arguer du fait qu’une stratégie telle que celle employée par Black Mirror soit néfaste en engendrant des fantasmes contre-productifs dans la tenue d’un débat international et médiatisé, et plus généralement dans l’imaginaire collectif. Mais après tout, est-ce vraiment le rôle de Black Mirror d’apporter des représentations exactes et pertinentes ? La série pousse à l’interrogation. Il ne reste plus qu’à effectivement s’interroger.

Sources

Publications scientifiques

• ANCELIN Julien, « Les systèmes d’armes létaux autonomes (SALA) : Enjeux juridiques de l’émergence d’un moyen de combat déshumanisé »,  La Revue des droits de l’homme, 2016, [En ligne], URL : http://revdh.revues.org/2543

• COLLINS Harry M, Experts artificiels. Machines intelligentes et savoir social, Paris, Editions du Seuil, 1992, 310p

• FAES Hubert, « Une éthique pour les robots tueurs ? », Revue d’éthique et de théologie morale, 2016/2 (n° 289), pp 107-115.

• GUITTON Alice, Déclaration conjointe de l’Allemagne et de la France sur l’évolution des travaux sur les SALA au sein de la Convention sur Certaines Armes Classiques (CCAC), Genève, 13-17 novembre 2017, [En ligne], URL : https://cd-geneve.delegfrance.org/Declaration-conjointe-de-l-Allemagne-et-de-la-France-sur-l-evolution-des

• MÜLLER Vincent C. et al., « Réguler les robots-tueurs, plutôt que les interdire », Multitudes, 2015/1 (n° 58), pp 77-81.

• VILMER Jean-Baptiste Jeangène, « Diplomatie des armes autonomes : les débats de Genève », Politique étrangère, 2016/3 (Automne), pp 119-130.

• VILMER Jean-Baptiste Jeangène, « Terminator Ethics : faut-il interdire les ‘’robots tueurs’’ ? », Politique étrangère, 2014/4 (Hiver), pp 151-167.

• WAREHAM Mary, « Pourquoi doit-on interdire les ‘’robots tueurs’’ », Revue internationale et stratégique, 2014/4 (n° 96), p. 97-106.

Publications non scientifiques

• HERN Alex, « Boston Dynamics crosses new threshold with door-opening dog », The Guardian, 2018, [En ligne], URL : https://www.theguardian.com/technology/2018/feb/13/boston-dynamics-spot-mini-door-opening-dog-crosses-threshold

• HORTON Alex, « People freaked out after robot dogs opened a door. Now they’re resisting humans. », The Washington Post, 2018, [En ligne], URL : https://www.washingtonpost.com/news/innovations/wp/2018/02/21/people-freaked-out-after-robot-dogs-opened-a-door-now-theyre-resisting-humans/?noredirect=on&utm_term=.793f33b365c5

Sources visuelles

• Couverture : jkno4u, Terminator Endoskeleton, date inconnue, [En ligne], URL : https://www.deviantart.com/jkno4u/art/Terminator-Endoskeleton-111781832

• Anonyme, Black Mirror and Boston Dynamics, photomontage, date inconnue, [En ligne], URL : https://9gag.com/gag/a47jBr1

• Anonyme, « Testing Robustness », chaine Youtube de Boston Dynamics 20 février 2018, [En ligne], URL : https://www.youtube.com/watch?v=aFuA50H9uek

• Anonyme, «The New SpotMini », chaine Youtube de Boston Dynamics, 13 novembre 2017, [En ligne], URL : https://www.youtube.com/watch?v=kgaO45SyaO4


OpenEdition vous propose de citer ce billet de la manière suivante :
Valerian Sache (19 septembre 2018). Black Mirror, Boston Dynamics et Systèmes d’Armes Létaux Autonomes. Voir et penser. Consulté le 16 juin 2025 à l’adresse https://doi.org/10.58079/v8t3


Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

This site uses Akismet to reduce spam. Learn how your comment data is processed.