Wan Yining:
Hola. Debido a la urgencia y al no encontrar papel adecuado, he escrito esta carta en el reverso de una pintura que colecciono.
Cuando recibas esta carta, el mundo ya será completamente diferente, y en este mundo distinto, tú eres la única solución que alcanzo a ver.
Tal vez muchas de las cosas que voy a decir a continuación no las entiendas del todo, o tal vez comprendas cada vez menos este mundo actual, pero confío en ti; confío en que tomarás el juicio correcto y harás lo correcto.
¿Por dónde debería empezar? Tienes 22 años este año, lo que me recuerda a cómo era yo a los 22. En aquel entonces, parecía que el mundo exterior era radiante y brillante, como si el lienzo más hermoso apenas comenzara a desplegarse. En esa época, al igual que tú, me estaban formando como investigador en comunicaciones. Corrían los días de la Gran Migración.
…
Un accidente automovilístico cambió mi perspectiva sobre este mundo. Creo que deberías conocer a grandes rasgos el principio técnico del ABS: era una tecnología de frenado de la víspera del gran auge de la conducción autónoma, que regulaba automáticamente la presión de frenado de las ruedas según su movimiento al frenar el vehículo para evitar que se bloquearan. Se consideraba una tecnología sumamente segura.
Sin embargo, supuso un paso peligroso: el conductor cedió su poder de control sobre el vehículo. Y en aquella ocasión, el sistema ABS del coche que conducía falló; el vehículo frenó de golpe en plena marcha y fui embestido por el coche que venía detrás, saliendo despedido fuera de la carretera.
En momentos así, para un creyente, sería un momento de revelación. Aquello sacudió profundamente mi confianza en la tecnología. En especial, mi confianza en la tecnología que el ser humano no puede controlar.
Durante las decenas de segundos que pasé sentado en el coche esperando a que llegaran los bomberos, con el alma aún en vilo, repasé el pasado y el futuro del ABS y de la tecnología de conducción autónoma. Lo que realmente me aterrorizó fue que parecía que nadie era capaz de detener que todo esto sucediera.
Al igual que el ejemplo que me acababa de ocurrir, sin duda sería tratado como un evento de baja probabilidad e incluido en el margen de descarte. En los datos, sin duda la conducción autónoma
Sabemos que todo aquello que lógicamente, desde el punto de vista técnico, puede fallar, terminará fallando sin excepción; solo es cuestión de tiempo. Y debido al optimismo de la gente y al clima de euforia en torno a las nuevas tecnologías, casi siempre hace falta estrellarse contra un muro colosal para que surja la reflexión.
Hay ciertos errores que podemos cometer, pero hay otros de los que no hay retorno posible. Por ejemplo, que la tecnología de conducción autónoma provoque un accidente de tráfico tal vez cause, como mucho, unos miles de muertos en todo el mundo.
¿Pero existe alguna tecnología capaz de extinguir a toda la humanidad? Sí la hay; las armas nucleares son ese tipo de tecnología. Afortunadamente, justo antes de que la humanidad cayera en el abismo del peligro, por una serie de azares del destino, todos redujeron los arsenales nucleares, evitando que ocurriera.
¿Cuáles son las armas nucleares de hoy en día? La IA.
Cada vez que pienso en esto, siento una espina clavada en la espalda, como si estuviera sentado sobre alfileres.
Nosotros, como seres humanos, debemos darnos cuenta de que este mundo no ha existido así por naturaleza, y que la vida de la que cada individuo disfruta no es algo dado de antemano. Si olvidamos los cimientos que la sostienen, el peligro llegará. Este mundo tampoco progresa de manera inevitable, y la secuencia cronológica de las distintas épocas no implica desarrollo: el progreso que imaginamos no es más que una casualidad. Las leyes resumidas por los historiadores no son más que conclusiones a posteriori; todo podría haber sido completamente distinto.
Desde la extinción de la era de los dinosaurios hasta la llegada de los mamíferos a tierra firme, estos monos disfrazados con ropas humanas se convirtieron en los nuevos señores del continente. ¿Acaso eran estos monos más fuertes que los dinosaurios? ¿Más inteligentes? ¿O simplemente tuvieron más suerte?
Lo mismo se aplica a toda nuestra sociedad humana: la desaparición de la esclavitud no se debió a un aumento de la virtud humana, sino a la pérdida de viabilidad del sistema esclavista; en cuanto surge una nueva posibilidad, siempre habrá alguien dispuesto a probarla.
Este mundo puede cambiar de repente: la civilización puede retroceder a la barbarie de la noche a la mañana. La civilización es apenas una delgada capa entre la biosfera y la atmósfera de la Tierra; la apreciamos enormemente, pero también debemos ser conscientes de su fragilidad.
…
Un siglo de vida humana pasa en un abrir y cerrar de ojos; un milenio de historia se esfuma en un chasquido. Los poetas tal vez solo suspiren por ello, pero un político realista no tiene más remedio que considerar su cruda realidad.
¿Acaso la vida humana dura solo cien años? ¿Acaso la historia milenaria volverá sobre sus pasos? Estas cuestiones no son fruto de una imaginación desbordante, sino juicios de probabilidad.
Esto exige una intuición extraordinaria y una observación aguda.
Quizás solo hayas aprendido en los libros de texto por qué nos negamos a construir cualquier entidad física o virtual de inteligencia artificial; en realidad, esto no es solo un dilema ético, sino también una lucha de poder.
La tecnología es uno de los polos de poder en la sociedad actual: todos y cada uno de los sistemas cuentan con la participación de la tecnología. No podemos ignorar cómo reconfigura toda la estructura del poder, y toda tecnología es susceptible de convertirse en arma.
Tanto la biotecnología como la tecnología algorítmica son así; esa es la razón por la que el Gobierno de Coalición siempre ha tenido un Comité de Ética. El Comité de Ética no solo suprime la posibilidad de que la tecnología civil se militarice, sino que también vigila al gobierno para que no convierta en armas tecnologías excesivamente peligrosas. Las armas nucleares son la mayor advertencia de nuestra era.
Entonces, ¿entre quiénes es esta disputa de poder? ¡Por supuesto, entre los humanos y la inteligencia artificial!
El progreso tecnológico siempre ha sido un sistema de retroalimentación positiva, en especial en lo que respecta a las tecnologías militarizadas; así es como surgen las carreras armamentísticas: cuando las armas de la policía se vuelven más potentes, los criminales buscan la forma de conseguir armas aún más poderosas, y la policía, en respuesta, eleva continuamente su nivel de armamento y las capacidades de su inteligencia artificial, hasta que un día este sistema de retroalimentación positiva engendre un poderoso ejército de inteligencia artificial, y ese ejército será la pesadilla de toda la humanidad.
Quizá ellos argumenten que solo usaremos una parte de la tecnología de inteligencia artificial y no toda, evitando así la aparición de una IA consciente. Eso es hablar por hablar sin ningún sentido. ¿Cómo va a ser posible?
Si un robot carece de autoconciencia, significa que no puede tomar decisiones; esto requiere que un humano decida constantemente por él. Y como los humanos son perezosos, con el tiempo alguien delegará parte del poder de decisión en el robot, hasta delegarlo por completo. En cambio, los robots jamás se vuelven perezosos.
Quizá haya también quien sostenga que, una vez que el robot adquiera conciencia humana, poseerá humanidad, y teniendo humanidad, ¿acaso no podría existir como un miembro más de la especie humana?
Si esas personas leyeran algo de historia, no serían tan ingenuas. Incluso perteneciendo a la misma especie humana, durante decenas de miles de años antes del siglo XXII, la gente se atacó mutuamente por lazos de sangre, por creencias religiosas e incluso, de forma aún más ridícula, inventaron diferentes naciones para atacarse entre sí. Hasta tribus que hablaban el mismo idioma y compartían un mismo ancestro podían convertirse en enemigos jurados; ¿cómo garantizas entonces que estos robots no se convertirán en el enemigo público de la humanidad?
Esto no es ciencia ficción, es algo que ocurre en la realidad. La lógica de la política real no dicta que no haya amenaza solo porque no tengas la intención de ser un enemigo, sino que solo estamos a salvo cuando no tienes la capacidad de serlo. La lógica de la tecnología tampoco dicta que lo que no ocurrió en el pasado no vaya a suceder en el futuro; más bien, si algo es técnicamente posible, ocurrirá si se le da el tiempo suficiente.
La moneda de cambio que Wade podría usar es garantizar al Presídium cincuenta años más de vida; a esos vejestorios quizá lo único que les falte sea tiempo de vida. Cuando puedan vivir lo suficiente, tal vez lo único que deseen sean esclavos; puede que ni siquiera quieran a sus propios descendientes, ya que estos, por cuestiones de herencia, son enemigos potenciales, mientras que solo los esclavos son seguros.
Supongo que Zhang Beihai ya ha ideado el método para crear esclavos, e incluso son mejores que los esclavos convencionales: se trata de los robots que él fabrica. Son completamente obedientes, siguen las órdenes a rajatabla y no hay que preocuparse en absoluto por rebeliones, rendiciones ni ninguna de esas cosas por las que los humanos se preocupan.