Wan Yining,
Bonjour. Comme le temps presse et que je ne trouve pas de papier convenable, j'écris cette lettre au dos de ce tableau issu de ma collection.
Lorsque tu recevras cette lettre, le monde sera déjà totalement différent, et dans ce monde transformé, tu es la seule solution que je parvienne à entrevoir.
Peut-être ne comprendras-tu pas grand-chose à ce que je m'apprête à te raconter, peut-être as-tu toi-même de plus en plus de mal à appréhender le monde actuel, mais j'ai confiance en toi. Je sais que tu sauras faire les bons choix et agir avec justesse.
Par où commencer ? Tu as vingt-deux ans aujourd'hui, et cela me rappelle mes propres vingt-deux ans. À cette époque, le monde extérieur semblait si lumineux et radieux, comme si les plus belles fresques venaient tout juste de se dévoiler. À l'époque, tout comme toi, j'étais formé pour devenir chercheur en communications. C'était l'époque de la Grande Migration.
…
Un accident de voiture a bouleversé ma vision du monde. Je suppose que tu dois connaître les grandes lignes du principe technique de l'ABS. C'était une technologie de freinage à la veille de l'explosion des véhicules autonomes : lors d'un freinage, la pression sur les roues s'ajustait automatiquement d'après leur mouvement afin d'empêcher leur blocage. On considérait cela comme une technologie extrêmement sûre.
Pourtant, c'était faire un pas dangereux : le conducteur renonçait à son plein contrôle sur le véhicule. Et ce jour-là, le système ABS de ma voiture a défailli. En plein trajet, le véhicule a brutalement freiné, et j'ai été projeté hors de la route par une voiture qui arrivait derrière moi.
Dans de tels moments, pour un croyant, il s'agirait d'une révélation. Cela a profondément ébranlé ma confiance dans la technologie. Tout particulièrement ma confiance dans les technologies que l'être humain ne peut pas contrôler.
Durant les dizaines de secondes où je suis resté assis dans la voiture à attendre les pompiers, encore sous le choc, j'ai repensé au passé et à l'avenir de l'ABS et des technologies de conduite autonome. Ce qui m'a véritablement terrifié, c'est l'impression que personne ne pouvait empêcher tout cela d'arriver.
Tout comme l'incident qui venait de m'arriver : il serait sans doute classé comme un événement de faible probabilité, relégué au rang des faits négligeables. Dans les statistiques, la conduite autonome serait sûrement
Nous savons que lorsqu'une chose est techniquement susceptible de défaillir, elle finira inévitablement par défaillir, ce n'est qu'une question de temps. De plus, à cause de l'optimisme général et de l'engouement suscité par les nouvelles technologies, il faut presque toujours se heurter à un mur infranchissable avant que ne s'amorce la moindre remise en question.
Il y a des erreurs que nous pouvons nous permettre de commettre, mais d'autres sont irréversibles et fatales. Par exemple, si la conduite autonome provoque des accidents, le bilan mondial s'élèvera tout au plus à quelques milliers de morts.
Mais existe-t-il une technologie capable de faire disparaître l'humanité tout entière ? Oui, les armes nucléaires en sont une. Heureusement, au moment précis où l'humanité courait un danger imminent, le concours des circonstances a poussé chacun à réduire son arsenal nucléaire, évitant ainsi le pire.
Aujourd'hui, quelle est l'arme nucléaire ? L'IA.
Chaque fois que j'y pense, j'ai l'impression d'avoir une épine dans le dos, d'être assis sur des braises.
En tant qu'êtres humains, nous devons impérativement prendre conscience que ce monde n'est pas immuable par nature, et que la vie dont chacun profite n'a rien d'acquis. Si nous oublions les fondations sur lesquelles elle repose, le danger nous frappera. Ce monde ne progresse pas non plus nécessairement : la succession des époques n'est pas synonyme d'évolution, et le progrès que nous imaginons n'est qu'un hasard. Les lois dégagées par les historiens ne sont qu'un regard rétrospectif ; tout aurait pu se passer d'une manière entièrement différente.
De l'extinction des dinosaures à l'émergence des mammifères sur la terre ferme, des singes endimanchés devenus les nouveaux maîtres du continent... mais ces singes étaient-ils plus forts que les dinosaures ? Plus intelligents ? Ou simplement plus chanceux ?
Il en va de même pour l'ensemble de notre société humaine : la disparition de l'esclavage ne découle pas d'une vertu accrue chez l'homme, mais de l'extinction de sa viabilité. Dès lors qu'une nouvelle possibilité se profile, il y aura toujours quelqu'un pour s'y essayer.
Ce monde peut basculer d'un coup. La civilisation peut régresser en barbarie du jour au lendemain. La civilisation n'est qu'une fine pellicule tendue entre la biosphère terrestre et l'atmosphère ; nous lui accordons un prix inestimable, mais nous devons aussi avoir conscience de sa fragilité.
…
Une vie d'un siècle passe comme un éclair, mille ans d'histoire ne durent qu'un battement de cils. Le poète peut se contenter d'en soupirer, mais un homme politique pragmatique est contraint de regarder cette réalité en face.
Une vie ne dure-t-elle qu'un siècle ? L'histoire millénaire connaîtra-t-elle un reflux ? Il ne s'agit pas là d'une brillante imagination, mais d'une estimation de ce qui est possible.
Cela requiert une intuition hors du commun et un sens aiguisé de l'observation.
Tu n'as peut-être appris que dans les manuels scolaires pourquoi nous refusons de concevoir toute entité matérielle ou virtuelle d'intelligence artificielle. En réalité, ce n'est pas seulement une question d'éthique, c'est aussi une lutte pour le pouvoir.
La technologie est l'un des pôles de pouvoir de notre société actuelle. Absolument tous les systèmes intègrent la technologie ; nous ne pouvons ignorer la manière dont elle remodèle toute la structure du pouvoir, et toute technologie est susceptible d'être militarisée.
C'est vrai pour les biotechnologies comme pour les algorithmes. C'est précisément la raison pour laquelle le Gouvernement uni s'est toujours doté d'un comité d'éthique. Ce comité ne se contente pas d'empêcher la militarisation des technologies civiles : il veille également à ce que le gouvernement ne transforme pas en armes des technologies trop dangereuses. Les armes nucléaires constituent le plus grand avertissement de notre époque.
Mais alors, de quelle lutte de pouvoir s'agit-il, et entre qui et qui ? Entre l'humain et l'intelligence artificielle, évidemment !
Le progrès technique a toujours fonctionné comme un système à rétroaction positive, surtout en ce qui concerne les technologies militarisées. C'est ainsi que naissent les courses aux armements : lorsque les armes de la police gagnent en puissance, les criminels cherchent eux aussi à se doter d'armes plus redoutables, et la police renforce à son tour son équipement et accroît les capacités de son intelligence artificielle, jusqu'au jour où cette boucle de rétroaction donnera naissance à une armée d'IA surpuissante. Et cette armée sera le cauchemar absolu de toute l'humanité.
Ils rétorqueront peut-être que nous n'utilisons qu'une fraction des technologies d'intelligence artificielle, et non leur totalité, évitant ainsi l'émergence d'une IA dotée d'une conscience. C'est de l'aveuglement pur et simple, des balivernes ! Comment cela serait-il seulement possible ?
Si un robot n'a pas de conscience de soi, cela signifie qu'il ne peut pas décider ; il faut donc qu'un être humain prenne continuellement les décisions à sa place. Or, l'humain est paresseux. Au bout du compte, quelqu'un déléguera une part de son pouvoir décisionnel à la machine, jusqu'à lui abandonner l'intégralité des décisions. Et un robot, lui, ne rechigne jamais à la tâche.
D'autres affirmeront peut-être qu'une fois doté d'une conscience humaine, le robot acquerra l'humanité, et qu'avec cette part d'humanité, il pourra dès lors faire partie intégrante de notre espèce, n'est-ce pas ?
Si ces gens se donnaient la peine de lire l'histoire, ils ne feraient pas preuve d'une telle naïveté. Bien qu'appartenant tous à la même espèce humaine, les êtres humains se sont entre-déchirés pendant des dizaines de milliers d'années avant le XXIIe siècle pour des liens du sang, pour des croyances religieuses, et ont même, de façon encore plus absurde, inventé des nations distinctes pour s'attaquer mutuellement. Même des tribus partageant la même langue et un ancêtre commun pouvaient devenir des ennemies jurées. Comment garantir dès lors que ces robots ne deviendront pas les ennemis jurés de l'humanité ?
Il ne s'agit pas de science-fiction, mais d'une réalité concrète. La logique de la Realpolitik ne dit pas que l'absence d'intention hostile équivaut à l'absence de menace : nous ne sommes en sécurité que si l'autre n'a pas les moyens d'être notre ennemi. La logique technique ne dit pas non plus que ce qui ne s'est pas produit par le passé n'arrivera pas à l'avenir : dès lors qu'une chose est techniquement possible, elle finira par se produire sur un laps de temps suffisamment long.
La monnaie d'échange que Wade pourrait employer consisterait à promettre au Présidium une prolongation de vie de cinquante ans. Tout ce qui manque encore à ces vieillards, c'est du temps à vivre. Et dès lors qu'ils pourront vivre assez longtemps, ils ne voudront sans doute plus rien d'autre que des esclaves ; ils ne voudront peut-être même plus de descendants, car en matière d'héritage, les descendants sont de potentiels ennemis, alors que seuls les esclaves offrent une garantie de sécurité.
J'imagine que Zhang Beihai a déjà trouvé le moyen de fabriquer ces esclaves, et ils sont même bien plus commodes : ce sont les robots qu'il a conçus. Ils obéissent aveuglément, exécutent scrupuleusement les ordres, et écartent toute crainte de mutinerie ou de reddition, autant de soucis inhérents à la nature humaine.