Wan Yining,
Olá. Como a situação era urgente e não encontrei papel adequado, escrevi a carta no verso desta pintura da minha coleção.
Quando receber esta carta, o mundo já será completamente diferente, e, nesse mundo transformado, você é a única solução que consigo enxergar.
Talvez muitas das coisas que direi a seguir você não compreenda muito bem, talvez você entenda cada vez menos este mundo atual, mas eu confio em você. Acredito que tomará a decisão correta e fará o que é certo.
Por onde começar? Você tem 22 anos agora, o que me lembra de quando eu tinha 22 anos. Naquela época, parecia que o mundo exterior era radiante e magnífico, como se a mais bela das telas estivesse apenas começando a se desenrolar. Naquele tempo, assim como você, eu estava sendo treinado como pesquisador na área de comunicações. Era a época da Grande Migração.
...
Um acidente automobilístico mudou minha visão sobre este mundo. Acredito que você deva conhecer razoavelmente o princípio técnico do ABS: era uma tecnologia de frenagem que antecedeu a grande expansão da condução autônoma, ajustando automaticamente a pressão de frenagem com base no movimento das rodas para evitar o seu travamento. Era considerada uma tecnologia extremamente segura.
No entanto, deu-se aí um passo perigoso: o motorista abriu mão do controle sobre o veículo. E, naquela ocasião, o sistema ABS do carro que eu dirigia apresentou problemas. No meio do trajeto, o veículo freou repentinamente, e fui atingido por trás por outro carro, sendo arremessado para fora da pista.
Um momento desses, para alguém que acredita em Deus, seria um momento de epifania. Isso abalou profundamente a minha confiança na tecnologia. Sobretudo a confiança em tecnologias que o ser humano não pode controlar.
Durante as dezenas de segundos em que fiquei no carro esperando a chegada dos bombeiros, ainda em choque, repassei a história e o futuro do ABS e da condução autônoma. O que verdadeiramente me apavorou foi a impressão de que ninguém parecia capaz de impedir que tudo isso acontecesse.
Assim como o exemplo que acabou de acontecer comigo, com certeza seria considerado um evento de probabilidade ínfima, incluído na margem de descarte. Estatisticamente, com certeza seria automát
Sabemos que tudo o que, pela lógica técnica, pode apresentar falhas, inevitavelmente apresentará; é apenas uma questão de tempo. E, devido ao otimismo das pessoas e à atmosfera de exaltação em torno das novas tecnologias, quase sempre é preciso colidir com um muro gigantesco para que haja reflexão.
Há erros que podemos cometer, mas outros levam à perdição irreversível. Se a condução autônoma causar acidentes de trânsito, por exemplo, talvez algumas milhares de pessoas morram no mundo todo, no máximo.
Mas existiria alguma tecnologia capaz de extinguir toda a humanidade? Sim, as armas nucleares são uma tecnologia assim. Por sorte, no instante imediatamente anterior ao perigo iminente para a humanidade, por uma feliz coincidência, todos reduziram seus arsenais nucleares, impedindo que essa tragédia se consumasse.
E qual é a arma nuclear de agora? A IA.
Sempre que penso nisso, sinto como se estivesse sobre espinhos, consumido por uma aflição incessante.
Como seres humanos, temos de tomar consciência de que este mundo não existe simplesmente por natureza dessa forma; a vida que cada um desfruta não existe por direito natural. Se esquecermos as bases que a sustentam, o perigo virá. Este mundo também não caminha inevitavelmente para o progresso; a ordem cronológica de diferentes eras não implica desenvolvimento, e o progresso que concebemos nada mais é do que um acidente. As leis sintetizadas pelos historiadores não passam de ilações retrospectivas; tudo poderia ter sido inteiramente diferente.
Do desaparecimento da era dos dinossauros à conquista da terra firme pelos mamíferos, estes se vestiram em trajes nobres como macacos engalanados para se tornarem os novos soberanos dos continentes. E seriam esses macacos mais fortes que os dinossauros? Mais inteligentes? Ou simplesmente mais afortunados?
O mesmo se aplica a toda a nossa sociedade humana. O fim da escravidão não resultou de um aumento na virtude humana, mas sim do desaparecimento da viabilidade do sistema escravista; quando novas possibilidades surgem, sempre haverá quem as tente colocar em prática.
Este mundo pode mudar de um instante para o outro; a civilização pode regredir à barbárie da noite para o dia. A civilização é apenas uma fina camada entre a biosfera e a atmosfera da Terra; nós a valorizamos imensamente, mas também precisamos reconhecer sua extrema fragilidade.
...
Cem anos de vida passam como uma fresta de luz; mil anos de história, num piscar de olhos. Poetas talvez apenas suspirem, mas um político realista é obrigado a considerar a sua realidade prática.
A vida humana se resume a meros cem anos? Poderá a história de milênios sofrer um refluxo? Não se trata de pura imaginação brilhante, mas de uma ponderação de possibilidades concretas.
Isso requer uma intuição excepcional e um poder de observação apurado.
Você talvez só tenha aprendido nos livros didáticos por que nos recusamos a construir qualquer entidade física ou virtual dotada de inteligência artificial. Na verdade, isso não é apenas um dilema ético, mas também uma disputa pelo poder.
A tecnologia é um polo de poder na sociedade atual; todo e qualquer sistema tem a tecnologia integrada a si. Não podemos fechar os olhos para como ela remodela toda a estrutura de poder, e qualquer tecnologia traz consigo o potencial de ser convertida em arma.
Tanto a biotecnologia quanto as tecnologias algorítmicas funcionam assim. É exatamente por essa razão que o Governo Unificado sempre manteve um Comitê de Ética. O comitê não só reprime a militarização de tecnologias no âmbito civil, mas também fiscaliza o governo para que não transforme tecnologias excessivamente perigosas em armas; as armas nucleares continuam sendo o maior alerta de nossa era.
Trata-se, então, de uma disputa de poder entre quem e quem? É evidente que é entre a humanidade e a inteligência artificial!
O progresso técnico sempre operou como um sistema de retroalimentação positiva, especialmente no tocante a tecnologias bélicas. É assim que surge uma corrida armamentista: quando as armas da polícia ganham poder, os criminosos dão um jeito de criar armas ainda mais potentes; a polícia, por sua vez, elevará continuamente seu nível de armamento e aprimorará as capacidades da inteligência artificial, até que um dia essa retroalimentação positiva dê origem a um poderoso exército de IA — e esse exército será o maior pesadelo de toda a humanidade.
Eles talvez argumentem que usaremos apenas uma fração da tecnologia de inteligência artificial, e não a sua totalidade, evitando assim o surgimento de uma IA autoconsciente. Isso não passa de um disparate desmedido. Como isso seria sequer possível?
Se um robô não possui autoconsciência, isso significa que não pode tomar decisões; alguém precisará decidir continuamente por ele. Contudo, os seres humanos são indolentes. Mais cedo ou mais tarde, alguém delegará parte do poder decisório aos robôs, até que todas as decisões sejam transferidas a eles. E os robôs, por sua vez, jamais têm preguiça.
Pode ser que alguns argumentem que, se os robôs desenvolverem a consciência humana, passarão a ter humanidade; e, tendo humanidade, por que não poderiam coexistir como membros da própria raça humana?
Se essas pessoas lessem um pouco de história, não seriam tão ingênuas. Mesmo pertencendo à mesma espécie humana, durante dezenas de milhares de anos antes do século XXII, os homens guerrearam entre si por laços de sangue, por crenças religiosas e, de modo ainda mais ridículo, inventaram nacionalidades distintas para se massacrarem. Mesmo tribos que compartilhavam a mesma língua e o mesmo ancestral acabavam se transformando em inimigas mortais. Como garantir que esses robôs não se tornariam inimigos públicos da humanidade?
Isso não é ficção científica, é a realidade crua. A lógica da política real não postula que a falta de intenção bélica signifique ausência de ameaça; só estamos seguros quando a outra parte não possui a capacidade de se tornar um inimigo. Da mesma forma, a lógica da tecnologia não diz que algo que nunca ocorreu no passado deixará de acontecer no futuro; se uma coisa é tecnicamente possível, ela fatalmente acontecerá dado um intervalo de tempo longo o bastante.
Uma das cartas que Wade poderia usar em suas negociações seria garantir cinquenta anos adicionais de vida aos membros do Presidium. A única coisa que talvez falte àqueles velhos seja mais tempo de vida. Quando puderem viver por tempo suficiente, talvez passem a desejar apenas escravos; talvez nem queiram seus próprios descendentes, pois, devido à herança, descendentes são rivais em potencial, ao passo que apenas os escravos são seguros.
Suponho que Zhang Beihai também já tenha arquitetado o método para criar escravos; de fato, seriam até mais convenientes do que escravos humanos. Refiro-me aos robôs construídos por ele. Eles obedecem cegamente, cumprem ordens à risca e eliminam de vez o receio de motins, rendições e todas as outras preocupações que a natureza humana impõe.