Liebe Wan Yining,
hallo. Weil die Zeit drängte und ich kein passendes Papier finden konnte, habe ich diesen Brief auf die Rückseite eines Gemäldes aus meiner Sammlung geschrieben.
Wenn du diesen Brief erhältst, wird die Welt bereits eine völlig andere sein. Und in dieser veränderten Welt bist du die einzige Lösung, die ich sehen kann.
Vielleicht wirst du vieles von dem, was ich nun erzähle, nicht ganz verstehen, und vielleicht begreifst auch du diese gegenwärtige Welt immer weniger. Aber ich vertraue dir; ich glaube fest daran, dass du das richtige Urteil fällen und das Richtige tun wirst.
Wo soll ich nur anfangen? Du bist dieses Jahr 22 Jahre alt geworden, was mich daran erinnert, wie ich mit 22 war. Damals schien die Welt da draußen voller Licht und Glanz zu sein, als würde sich die herrlichste aller Bildrollen gerade erst entfalten. Damals wurde ich, genau wie du, zu einer Forscherin im Bereich der Kommunikation ausgebildet. Es war die Zeit der Großen Migration.
...
Ein Autounfall veränderte meinen Blick auf diese Welt. Das Funktionsprinzip von ABS dürfte dir im Großen und Ganzen vertraut sein; es war eine Bremstechnologie am Vorabend des großen Durchbruchs des autonomen Fahrens. Beim Abbremsen des Fahrzeugs passte es den Bremsdruck der Räder automatisch an deren Bewegung an, um ein Blockieren zu verhindern. Dies galt als eine äußerst sichere Technologie.
Doch damit war ein gefährlicher Schritt getan: Der Fahrer trat die Macht über die Kontrolle seines Fahrzeugs ab. Und genau damals gab es ein Problem mit dem ABS-System des Wagens, den ich fuhr. Mitten während der Fahrt bremste das Auto plötzlich ab, und ich wurde von einem Fahrzeug hinter mir von der Fahrbahn geschleudert.
In einem solchen Moment spräche ein gläubiger Mensch wohl von einer Offenbarung. Es erschütterte mein Vertrauen in die Technologie zutiefst – insbesondere in Technologien, die der Mensch nicht mehr kontrollieren kann.
In jenen Dutzenden von Sekunden, in denen ich im Auto saß und auf die Feuerwehr wartete, ließ ich, noch immer unter Schock, die Geschichte und die Zukunft von ABS und autonomen Fahrtechnologien Revue passieren. Was mir wirklich Angst einjagte, war, dass anscheinend niemand in der Lage war, all das aufzuhalten.
Genau wie der Vorfall, der mir gerade widerfahren war, würde so etwas gewiss als Ereignis mit geringer Wahrscheinlichkeit abgetan und ignoriert werden. In den Daten würde es sicherlich automatisch
Wir wissen: Dinge, die nach technologischer Logik schiefgehen können, werden unweigerlich schiefgehen – es ist nur eine Frage der Zeit. Und aufgrund des Optimismus der Menschen und des Hypes um neue Technologien bedarf es fast immer erst eines Aufpralls gegen eine gewaltige Mauer, bevor ein Umdenken einsetzt.
Manche Fehler dürfen wir uns erlauben, doch andere führen ins unausweichliche Verderben. Führt etwa autonome Fahrtechnik zu einem Unfall, sterben weltweit vielleicht bestenfalls einige Tausend Menschen.
Gibt es aber Technologien, die die gesamte Menschheit auslöschen könnten? Ja, Atomwaffen sind eine solche Technologie. Doch zum Glück rüsteten im letzten Moment vor der drohenden Katastrophe, durch glückliche Fügungen, alle ihre Nuklearwaffen ab, sodass es nicht dazu kam.
Was sind die Atomwaffen von heute? KI.
Jedes Mal, wenn ich daran denke, sitzt mir die Angst im Nacken, und ich fühle mich wie auf glühenden Kohlen.
Wir als Menschen müssen begreifen, dass diese Welt nicht von Natur aus so existiert, wie sie ist, und das Leben, das jeder genießt, nicht selbstverständlich da ist. Vergisst man die Grundlagen dahinter, bricht die Gefahr herein. Diese Welt entwickelt sich auch nicht zwangsläufig zum Besseren; die zeitliche Abfolge verschiedener Epochen bedeutet nicht automatisch Fortschritt, und der Fortschritt, den wir uns vorstellen, ist bloßer Zufall. Die Gesetzmäßigkeiten, die Historiker herausarbeiten, sind letztlich nur eine Weisheit im Nachhinein – alles hätte völlig anders kommen können.
Vom Verschwinden des Zeitalters der Dinosaurier bis hin zu den Säugetieren, die an Land gingen und sich, wie Affen im Menschenkleid, zu den neuen Herrschern der Kontinente aufschwangen – waren diese Affen etwa stärker als die Dinosaurier? Klüger? Oder hatten sie schlichtweg mehr Glück?
Dasselbe gilt für unsere gesamte menschliche Gesellschaft: Das Verschwinden der Sklaverei beruhte nicht auf einer Zunahme menschlicher Tugend, sondern darauf, dass die Sklaverei als praktikable Option wegfiel. Sobald sich neue Möglichkeiten eröffnen, wird es immer jemanden geben, der sie ergreift.
Diese Welt kann sich schlagartig verändern; die Zivilisation kann über Nacht in die Barbarei zurückfallen. Die Zivilisation ist nur eine hauchdünne Schicht zwischen der Biosphäre und der Atmosphäre der Erde. Wir schätzen sie unendlich, müssen uns aber auch ihrer Zerbrechlichkeit bewusst sein.
...
Ein Menschenleben von hundert Jahren vergeht wie ein Wimpernschlag, ein Jahrtausend Geschichte wie ein Fingerschnippen. Dichter mögen darüber nur seufzen, doch als pragmatischer Politiker muss man dessen Realität ins Auge fassen.
Dauert ein Leben wirklich nur hundert Jahre? Wird sich die Jahrtausende währende Geschichte rückwärts bewegen? Das sind keine Produkte einer blühenden Fantasie, sondern Urteile über reale Möglichkeiten.
Dazu bedarf es einer herausragenden Intuition und einer scharfen Beobachtungsgabe.
Du hast im Lehrbuch vermutlich nur gelernt, warum wir den Bau physischer oder virtueller Verkörperungen künstlicher Intelligenz gänzlich ablehnen. In Wahrheit ist dies nicht nur eine ethische Frage, sondern auch ein Kampf um die Macht.
Technologie ist einer der Machtpole in der heutigen Gesellschaft; in ausnahmslos jedem System wirkt Technologie mit. Wir können nicht ignorieren, wie sie das gesamte Machtgefüge umgestaltet, und jede Technologie birgt das Potenzial, als Waffe eingesetzt zu werden.
Das gilt für die Biotechnologie ebenso wie für algorithmische Technologien. Genau das ist der Grund, warum die Koalitionsregierung stets über ein Ethikkomitee verfügt hat. Das Ethikkomitee unterbindet nicht nur die Bewaffnung ziviler Technologien, sondern überwacht auch die Regierung, damit diese allzu gefährliche Technologien nicht militarisiert. Die Atomwaffen sind die größte Mahnung unserer Epoche.
Wer kämpft hier also gegen wen um die Macht? Natürlich der Mensch gegen die künstliche Intelligenz!
Technologischer Fortschritt war schon immer ein System positiver Rückkopplung, insbesondere bei waffenfähigen Technologien; so entsteht jedes Wettrüsten. Wenn die Waffen der Polizei mächtiger werden, suchen Kriminelle nach Wegen, noch stärkere Waffen zu beschaffen, woraufhin die Polizei wiederum ihre Bewaffnung und die Fähigkeiten der künstlichen Intelligenz hochrüstet – bis diese Rückkopplungsschleife eines Tages eine schlagkräftige KI-Armee hervorbringt. Und diese Armee wird der Albtraum der gesamten Menschheit sein.
Sie werden vielleicht einwenden, dass wir doch nur einen Teil der KI-Technologie nutzen und nicht das Ganze, um das Entstehen einer bewussten künstlichen Intelligenz zu verhindern. Das ist doch blanker Unsinn! Wie soll das möglich sein?
Wenn ein Roboter kein Selbstbewusstsein besitzt, bedeutet das, dass er keine Entscheidungen treffen kann; es braucht einen Menschen, der ständig für ihn entscheidet. Doch der Mensch ist träge. Letztlich wird jemand einen Teil der Entscheidungsgewalt an den Roboter übertragen, bis schließlich die gesamte Entscheidungsbefugnis delegiert ist. Und ein Roboter wird niemals faul.
Vielleicht argumentieren manche auch: Wenn Roboter erst einmal ein menschliches Bewusstsein haben, dann besitzen sie doch auch Menschlichkeit. Und wenn sie Menschlichkeit besitzen, können sie dann nicht als ein Teil der Menschheit existieren?
Wer so denkt, wäre nicht so naiv, wenn er einmal in den Geschichtsbüchern läse. Selbst unter Menschen – Zehntausende von Jahren vor dem 22. Jahrhundert – griff man sich gegenseitig wegen Blutsbanden an, wegen religiösen Glaubens, oder erfand noch lächerlichere Konstrukte wie unterschiedliche Ethnien, um sich zu bekämpfen. Sogar Stämme, die dieselbe Sprache sprachen und denselben Vorfahren hatten, wurden zu Todfeinden. Wie willst du garantieren, dass diese Roboter nicht zum Feind der Menschheit werden?
Das ist kein Science-Fiction-Roman, das ist reale Wirklichkeit. Die Logik der Realpolitik besagt nicht: Solange du nicht die Absicht hast, zum Feind zu werden, bist du keine Bedrohung. Vielmehr sind wir erst dann sicher, wenn du nicht die Macht besitzt, zum Feind zu werden. Auch die Logik der Technologie besagt nicht, dass etwas, das in der Vergangenheit nie geschah, in der Zukunft unmöglich ist; vielmehr wird alles, was technologisch möglich ist, in einem ausreichend langen Zeitraum auch geschehen.
Wades Verhandlungschip besteht womöglich darin, dem Präsidium eine Lebensverlängerung um fünfzig Jahre zu garantieren. Diesen alten Herrschaften fehlt vermutlich nichts weiter als Lebenszeit. Und wenn sie erst lang genug leben können, wollen sie am Ende vielleicht nur noch Sklaven – nicht einmal ihre eigenen Nachkommen wollen sie mehr, denn Nachkommen sind wegen der Erbfolge potenzielle Feinde; nur Sklaven sind sicher.
Ich fürchte, Zhang Beihai hat sich auch schon überlegt, wie man Sklaven erschafft – Wesen, die sogar nützlicher sind als echte Sklaven. Nämlich die von ihm gebauten Roboter. Sie gehorchen bedingungslos, befolgen Befehle aufs Wort, und man muss weder Meuterei noch Kapitulation fürchten – all die Sorgen, die Menschen einem bereiten.