Вань Инин,
Здравствуй. Из-за спешки я не нашел подходящей бумаги, поэтому пишу это письмо на обратной стороне картины из моей коллекции.
Когда ты получишь это письмо, мир уже станет совершенно иным. И в этом изменившемся мире ты — единственное решение, которое я вижу.
Возможно, многое из того, о чем я скажу дальше, покажется тебе непонятным, возможно, ты и сама все меньше понимаешь этот нынешний мир, но я доверяю тебе. Я верю, что ты сделаешь правильные выводы и поступишь правильно.
С чего же начать? Тебе сейчас 22 года — это напоминает мне меня самого в том возрасте. В то время мир снаружи казался ярким и безоблачным, прекраснейшие картины будущего словно только начинали раскрываться, и тогда меня, как и тебя, готовили к работе исследователем в области связи. Тогда как раз шло Великое переселение.
...
Одна авария изменила мой взгляд на этот мир. Ты наверняка примерно представляешь себе технический принцип ABS: это была технология торможения, появившаяся прямо накануне бума беспилотного вождения. При торможении автомобиля система автоматически регулировала тормозное давление на колеса в зависимости от их движения, предотвращая блокировку. Она считалась чрезвычайно безопасной технологией.
Но это был опасный шаг: водитель уступил контроль над транспортным средством. И в тот раз система ABS в машине, которой я управлял, дала сбой. Посреди движения автомобиль внезапно затормозил, и шедшая сзади машина выбила меня с дороги.
В такие моменты верующие люди говорят об откровении. Это событие глубоко подорвало мое доверие к технологиям. В особенности — к тем, которые человек не может контролировать.
За те несколько десятков секунд, пока я сидел в машине в ожидании пожарных, я, еще не оправившись от шока, мысленно перебрал всю историю и будущее ABS и беспилотных технологий. И по-настоящему меня ужаснуло то, что, похоже, никто не в силах это остановить.
Точно так же происшествие со мной наверняка сочтут маловероятным событием и спишут со счетов. В статистике это наверняка автоматически...
Мы знаем: если в технологической логике что-то может дать сбой, оно обязательно его даст — вопрос лишь во времени. К тому же из-за людского оптимизма и атмосферы всеобщего восхваления новых технологий переосмысление почти всегда наступает лишь после удара о глухую стену.
Некоторые ошибки мы можем совершить, но есть ошибки, после которых возврата нет. Например, если технология автопилота приведет к авариям, в масштабах всей планеты погибнет максимум несколько тысяч человек.
Но существует ли технология, способная погубить все человечество? Да, ядерное оружие именно таково. К счастью, за мгновение до катастрофы, благодаря счастливому стечению обстоятельств, все страны сократили свои ядерные арсеналы, не дав этому случиться.
Что же является ядерным оружием сегодня? ИИ.
Всякий раз, когда я думаю об этом, меня пробирает дрожь, и я не нахожу себе места.
Мы, люди, обязаны осознать: этот мир не был изначально устроен так, как сейчас, и жизнь, которой пользуется каждый из нас, не возникла сама по себе. Если забыть об основах, на которых все держится, придет беда. Этот мир вовсе не обречен на непрерывный прогресс, чередование эпох не гарантирует развитие, а то, что мы мним прогрессом, — лишь случайность. Закономерности, выведенные историками, — не более чем ретроспективная мудрость; все вполне могло сложиться иначе.
Эпоха динозавров ушла в прошлое, млекопитающие вышли на сушу, надели мантии власти и стали новыми хозяевами континентов. Но разве эти обезьяны были сильнее динозавров? Умнее? Или им просто больше повезло?
То же самое верно и для всего нашего человеческого общества: исчезновение рабовладения было вызвано не ростом добродетели людей, а исчезновением самой возможности рабовладельческого строя. И когда появится новая возможность, непременно найдутся те, кто попытается ее реализовать.
Этот мир может измениться в одночасье, цивилизация за одну ночь способна скатиться обратно к варварству. Цивилизация — лишь тончайшая пленка между биосферой и атмосферой Земли; мы бесконечно дорожим ею, но должны помнить о ее хрупкости.
...
Век человеческий проносится как миг, тысячелетие истории мелькает в мгновение ока. Поэт может лишь сокрушаться об этом, но политик-прагматик вынужден считаться с этой реальностью.
Действительно ли человеку отпущен всего лишь век? Пойдет ли тысячелетняя история вспять? Это не досужие фантазии, а трезвая оценка вероятностей.
Для этого требуются незаурядная интуиция и острая наблюдательность.
Возможно, в учебниках ты читала лишь о том, почему мы отказываемся создавать искусственный интеллект в любых физических или виртуальных воплощениях. На самом деле это вопрос не только этики, но и борьбы за власть.
Технологии в современном обществе — это один из полюсов власти. Нет ни одной системы, в которой они бы не участвовали. Мы не можем игнорировать то, как они перекраивают всю властную структуру, а любую технологию потенциально можно превратить в оружие.
Это касается и биотехнологий, и алгоритмов. Именно поэтому при Объединенном правительстве неизменно действует Комитет по этике. Он не только пресекает милитаризацию технологий на гражданском уровне, но и следит за тем, чтобы само правительство не превращало в оружие чрезмерно опасные разработки. Ядерное оружие — главное предостережение нашей эпохи.
Так чья же это борьба за власть и с кем? Разумеется, человека с искусственным интеллектом!
Технический прогресс всегда был системой с положительной обратной связью, особенно в сфере военных технологий. Именно так зарождается гонка вооружений: когда оружие полиции становится мощнее, преступники находят способ создать еще более грозное оружие, а полиция в ответ продолжает наращивать арсеналы и совершенствовать возможности ИИ — до тех пор, пока однажды эта положительная обратная связь не породит несокрушимую армию искусственного интеллекта. И эта армия станет кошмаром для всего человечества.
Они могут возразить: мол, мы задействуем технологии искусственного интеллекта лишь отчасти, а не полностью, и это предотвратит появление сознательного ИИ. Какая чушь, говорить такое с умным видом! Разве это возможно?
Если у робота нет самосознания, это означает, что он не может принимать решения. Значит, кто-то должен постоянно решать за него. Но человеку свойственна лень. В конце концов найдутся те, кто делегирует роботу часть полномочий по принятию решений, пока не передаст их целиком. А вот роботы никогда не ленятся.
Возможно, кто-то станет утверждать: если робот обретет человеческое сознание, он обретет и человечность, а обретя ее, сможет ли он стать равноправным членом человеческого сообщества?
Почитай эти люди историю, они бы не были столь наивны. Даже принадлежа к одному виду, люди на протяжении десятков тысяч лет вплоть до XXII века истребляли друг друга из-за кровного родства, из-за религиозных верований, а доходя до нелепости, делились на разные народы и шли друг на друга войной. Даже племена, говорившие на одном языке и происходившие от общих предков, становились заклятыми врагами. Как же ты можешь гарантировать, что эти роботы не превратятся во врагов всего человечества?
Это не научная фантастика, это суровая реальность. Логика реальной политики гласит: безопасность обеспечивается не отсутствием у противника намерения стать врагом, а отсутствием у него реальной силы быть им. Логика технологий тоже говорит: если чего-то не происходило в прошлом, это не значит, что оно не случится в будущем; если нечто технически возможно, на достаточно длинной дистанции времени оно неизбежно произойдет.
Козырь, который Уэйд может пустить в ход для сделки, — обещание президиуму продлить жизнь на пятьдесят лет. Этим старикам, возможно, недостает лишь времени жизни. И когда они получат возможность жить достаточно долго, им могут понадобиться только рабы; возможно, они не захотят даже собственных потомков, ведь потомки из-за права наследования — потенциальные враги. Безопасны только рабы.
Полагаю, Чжан Бэйхай уже придумал, как создать таких рабов — они будут даже полезнее прежних. Это роботы, которых он собирает. Они беспрекословно подчиняются, в точности следуют приказам, и с ними можно совершенно не опасаться мятежей, предательства и прочих бед, о которых приходится беспокоиться, имея дело с людьми.