Wan Yining,
Ciao, dato che il tempo stringe e non sono riuscito a trovare della carta adatta, ho scritto questa lettera sul retro di questo dipinto della mia collezione.
Quando riceverai questa lettera, il mondo sarà già completamente diverso, e in questo mondo mutato tu sei l'unica soluzione che riesco a scorgere.
Forse molte delle cose che sto per dirti non ti saranno del tutto chiare, o forse comprenderai sempre meno questo mondo attuale, ma io mi fido di te; ho fiducia che saprai formulare il giudizio corretto e compiere la scelta giusta.
Da dove dovrei cominciare? Quest'anno compi ventidue anni, e questo mi ricorda come ero io alla tua età: allora sembrava che il mondo esterno fosse splendido e luminoso, come se il più bello dei dipinti si stesse appena dispiegando; a quel tempo, proprio come te, venivo formato come ricercatore nel campo delle comunicazioni. Erano i tempi della Grande Migrazione.
……
Un incidente d'auto ha cambiato la mia visione del mondo. Credo tu conosca a grandi linee il principio di funzionamento dell'ABS: era una tecnologia di frenata diffusa alla vigilia della grande esplosione della guida autonoma, che durante la frenata regolava automaticamente la pressione sui freni in base al movimento delle ruote per evitarne il bloccaggio. Era considerata una tecnologia estremamente sicura.
Eppure segnava un passo pericoloso, ovvero la cessione da parte del conducente del controllo sul veicolo. E quella volta, il sistema ABS dell'auto che guidavo ebbe un malfunzionamento: mentre stavo guidando, il veicolo frenò improvvisamente, e venni tamponato dall'auto dietro di me, finendo sbalzato fuori strada.
In momenti del genere, per chi crede in Dio, si tratterebbe di una rivelazione. Quell'evento scosse profondamente la mia fiducia nella tecnologia. Soprattutto nella tecnologia che l'uomo non è in grado di controllare.
In quelle decine di secondi in cui rimasi seduto nell'auto aspettando l'arrivo dei vigili del fuoco, ancora in preda allo shock, ripercorsi con la mente la storia e il futuro dell'ABS e della tecnologia di guida autonoma. Ciò che mi terrorizzò davvero fu la sensazione che nessuno potesse impedire a tutto questo di accadere.
Proprio come l'episodio appena accaduto a me, sarebbe stato sicuramente considerato un evento a bassa probabilità e relegato tra i fattori trascurabili. Dal punto di vista dei dati, sicuramente la guida autonoma
Sappiamo che tutto ciò che secondo la logica tecnologica può andare storto, prima o poi andrà sicuramente storto: è solo una questione di tempo. Inoltre, a causa dell'ottimismo della gente e del clima di esaltazione che circonda le nuove tecnologie, ci si sofferma a riflettere quasi solo dopo essersi schiantati contro un muro enorme.
Ci sono errori che possiamo permetterci di commettere, ma ce ne sono altri che porterebbero alla rovina totale. Ad esempio, se la tecnologia di guida autonoma causa incidenti stradali, in tutto il mondo potrebbero morire al massimo qualche migliaio di persone.
Ma esiste una tecnologia in grado di annientare l'intera umanità? Sì, le armi nucleari sono una di queste. Fortunatamente, però, un istante prima che l'umanità precipitasse nel baratro, per una serie di circostanze fortuite tutti ridussero i propri arsenali nucleari, impedendo che ciò accadesse.
E quali sono le armi nucleari di oggi? L'IA.
Ogni volta che ci penso, è come avere spine conficcate nella schiena, come sedere sugli aghi.
Come esseri umani dobbiamo renderci conto che questo mondo non è sempre esistito così com'è, e che la vita di cui ciascuno gode non è qualcosa di scontato e naturale; se dimentichiamo le fondamenta su cui poggia, il pericolo non tarderà ad arrivare. Questo mondo non progredisce inevitabilmente, la successione delle diverse epoche non implica affatto uno sviluppo, e il progresso che immaginiamo è solo una coincidenza. Le leggi sintetizzate dagli storici non sono che giudizi a posteriori: tutto avrebbe potuto essere completamente diverso.
Dalla scomparsa dell'era dei dinosauri fino ai mammiferi sbarcati sulla terraferma che, scimmie vestite a festa, sono diventati i nuovi dominatori del continente: forse queste scimmie erano più forti dei dinosauri? Più intelligenti? O semplicemente più fortunate?
Lo stesso vale per l'intera nostra società umana: la scomparsa della schiavitù non è dovuta a una maggiore virtù morale dell'uomo, ma alla scomparsa delle condizioni che la rendevano possibile. Quando emergono nuove possibilità, ci sarà sempre qualcuno disposto a tentarle.
Questo mondo può cambiare all'improvviso, la civiltà può regredire alla barbarie dall'oggi al domani; la civiltà è solo un sottile strato tra la biosfera e l'atmosfera terrestre. Ne abbiamo immensa cura, ma dobbiamo anche conoscerne la fragilità.
……
Un secolo di vita umana vola via come un baleno, mille anni di storia passano in un battito di ciglia. I poeti possono limitarsi a sospirare, ma un politico realista deve per forza considerarne la concretezza.
La vita umana dura davvero solo un secolo? La storia millenaria subirà un riflusso? Queste considerazioni non sono frutto di una vivida immaginazione, bensì valutazioni di possibilità concrete.
Ciò richiede un'intuizione straordinaria e un acuto spirito di osservazione.
Forse hai imparato solo dai libri di testo il motivo per cui rifiutiamo di costruire qualsiasi entità fisica o virtuale dotata di intelligenza artificiale; in realtà, non è solo una questione etica, ma anche una lotta per il potere.
La tecnologia rappresenta uno dei poli del potere nella società odierna; fa parte integrante di qualsiasi sistema senza eccezioni, e non possiamo ignorare il modo in cui rimodella l'intera struttura del potere. Inoltre, ogni tecnologia ha il potenziale per essere trasformata in arma.
Le biotecnologie e le tecnologie algoritmiche non fanno eccezione, ed è per questo che il Governo Unito ha sempre mantenuto un Comitato Etico: esso non solo sopprime la possibilità di militarizzazione della tecnologia nel settore civile, ma vigila anche affinché il governo non trasformi in armi tecnologie fin troppo pericolose; le armi nucleari sono il più grande monito della nostra epoca.
Ma allora, tra chi si combatte questa lotta di potere? Tra l'uomo e l'intelligenza artificiale, naturalmente!
Il progresso tecnologico è sempre stato un sistema a retroazione positiva, specialmente per quanto riguarda le tecnologie militarizzate. È così che nascono le corse agli armamenti: quando le armi usate dalla polizia diventano più potenti, i criminali cercano a loro volta di procurarsi armi ancora più forti; di conseguenza, la polizia continua a elevare il proprio livello di armamento e a potenziare le capacità dell'intelligenza artificiale, finché un giorno questo circuito di retroazione positiva genererà un potente esercito di intelligenze artificiali, ed è proprio quell'esercito che sarà l'incubo dell'intera umanità.
Forse obietteranno dicendo che utilizzeremo solo una parte della tecnologia di intelligenza artificiale e non la totalità, così da impedire la comparsa di un'IA dotata di coscienza: questa è pura ipocrisia, farneticazioni a vanvera. Come potrebbe mai essere possibile?
Se i robot non hanno autocoscienza, significa che non possono prendere decisioni, il che richiede che ci sia costantemente un essere umano a decidere per loro. Ma gli esseri umani sono pigri, e alla fine qualcuno delegherà parte del potere decisionale ai robot, fino a delegarlo completamente. E i robot, dal canto loro, non battono mai la fiacca.
Forse qualcuno sosterrà anche che, una volta acquisita la coscienza umana, i robot avranno anche l'umanità, e avendo l'umanità, non potrebbero forse esistere come membri del genere umano?
Se costoro leggessero un po' di storia non sarebbero così ingenui: pur appartenendo alla stessa specie, nei decine di migliaia di anni precedenti il ventiduesimo secolo gli esseri umani si sono attaccati a vicenda per legami di sangue, per fede religiosa, e persino, cosa ancora più ridicola, hanno inventato nazionalità diverse per farsi la guerra a vicenda. Persino tribù che parlavano la stessa lingua e avevano lo stesso antenato potevano diventare acerrimi nemici: come si può garantire che questi robot non diventino i nemici pubblici dell'umanità?
Questa non è fantascienza, è ciò che accade nella realtà. La logica della Realpolitik non dice che l'assenza di intenzione ostile equivalga all'assenza di minaccia, bensì che siamo al sicuro solo se il rivale non ha la forza di diventare un nemico. E la logica della tecnologia non afferma che ciò che non è mai accaduto in passato non accadrà in futuro, ma che se una cosa è tecnologicamente possibile, in un arco di tempo sufficientemente lungo si verificherà senz'altro.
Tra le pedine di scambio che Wade potrebbe usare c'è la promessa al Presidium di prolungare la vita di cinquant'anni; a quei vecchi rimasti non manca forse nient'altro che la vita, e quando riusciranno a vivere abbastanza a lungo, finiranno probabilmente per desiderare solo schiavi. Potrebbero persino non volere i propri discendenti, poiché questi ultimi, a causa della linea di successione, sono nemici potenziali, mentre solo gli schiavi offrono sicurezza.
Credo che anche Zhang Beihai abbia già ideato il modo per creare degli schiavi, anzi, qualcosa di ancor più efficiente degli schiavi: i robot che costruisce. Sono totalmente obbedienti, eseguono gli ordini alla perfezione, e non c'è assolutamente da preoccuparsi di ammutinamenti, rese o di tutte quelle cose di cui bisogna preoccuparsi con gli esseri umani.