완이닝에게,
안녕, 시간이 촉박한데 마땅한 종이를 찾지 못해 내가 소장하던 그림 뒷면에 편지를 적어.
이 편지를 받을 때쯤이면 세상은 완전히 달라져 있을 테고, 그 달라진 세상 속에서 너는 내가 볼 수 있는 유일한 해답이야.
어쩌면 내가 앞으로 할 말들을 네가 잘 이해하지 못할 수도 있고, 어쩌면 지금의 세상을 점점 더 납득하기 어려울지도 몰라. 하지만 난 널 믿어. 네가 올바른 판단을 내리고, 옳은 일을 해낼 거라고 믿어.
어디서부터 이야기를 시작해야 할까? 넌 올해 스물두 살이지. 그 나이를 들으니 내 스물두 살 적 모습이 떠오르는구나. 그때는 바깥세상이 온통 밝고 찬란해 보였고, 가장 아름다운 그림이 이제 막 펼쳐지는 것만 같았어. 그때 나도 너처럼 통신 연구원으로 양성되고 있었지. 바야흐로 대이주가 한창이던 시절이었어.
……
한 번의 교통사고가 세상을 바라보는 내 관점을 바꿔놓았어. ABS라는 기술의 원리는 너도 대략 알고 있을 거야. 자율주행 기술이 폭발적으로 발전하기 직전에 쓰이던 제동 기술인데, 자동차가 감속할 때 바퀴의 움직임에 맞춰 제동 압력을 자동으로 조절해 바퀴가 잠기는 것을 방지하는 식이지. 대단히 안전한 기술로 여겨졌어.
하지만 이건 위험한 한 걸음을 내딛은 셈이었어. 바로 운전자가 차량을 제어할 권한을 양도했다는 점이지. 그리고 그때, 내가 몰던 차의 ABS 시스템에 문제가 생겼어. 주행 중에 차가 갑자기 급제동하더니, 뒤따라오던 차에 받쳐 도로 밖으로 튕겨 나가 버렸지.
그런 순간은 신을 믿는 이들에게는 계시의 순간이었을 거야. 그 일은 기술에 대한 내 신뢰를 거세게 뒤흔들었어. 특히 인간이 통제할 수 없는 기술에 대한 신뢰를 말이야.
차 안에 앉아 소방차가 오기를 기다리던 그 수십 초 동안, 넋이 나간 채로 ABS와 자율주행 기술의 과거와 미래를 되짚어보았지. 정말로 나를 공포에 떨게 한 것은, 아무도 이 모든 일이 벌어지는 것을 막을 수 없어 보인다는 사실이었어.
방금 내게 일어난 이런 일도 분명 극히 드문 저확률 사건으로 치부되어 무시할 범위에 포함될 거야. 데이터상으로는 분명 자율주행이
우리는 알고 있어. 기술의 논리상 문제가 생길 가능성이 있는 대상은 시간문제일 뿐 반드시 문제가 발생한다는 것을. 게다가 사람들의 낙관론과 신기술을 칭송하는 분위기 탓에, 거의 거대한 벽에 부딪히고 나서야 뒤늦은 반성을 하곤 하지.
어떤 실수는 우리가 저질러도 감당할 수 있지만, 어떤 실수는 돌이킬 수 없는 파멸로 이어져. 가령 자율주행 기술로 인한 교통사고는 전 세계에서 기껏해야 수천 명이 사망하는 수준일지 몰라.
그렇다면 인류 전체를 몰살시킬 수 있는 기술도 있을까? 있어. 핵무기가 바로 그런 기술이지. 하지만 다행히 인류가 파멸의 위기에 처하기 직전, 우연한 계기로 모두가 핵무기를 감축하면서 그런 비극은 일어나지 않았어.
그렇다면 지금의 핵무기는 무엇일까? 바로 AI야.
이 생각을 할 때마다 마치 등에 가시가 돋치고 바늘방석에 앉은 듯 불안하기 짝이 없어.
우리는 인간으로서 반드시 깨달아야 해. 이 세상이 원래부터 이렇게 존재했던 것이 아니며, 각자가 누리는 삶도 당연히 주어지는 것이 아니라는 사실을. 그 이면의 기반을 잊어버린다면 위험이 닥칠 거야. 이 세상은 필연적으로 진보하는 것도 아니며, 시대의 선후 관계가 곧 발전을 뜻하는 것도 아니야. 우리가 상상하는 진보란 그저 우연에 불과해. 역사가들이 정리해 둔 법칙은 뒤늦은 통찰에 불과할 뿐, 이 모든 것은 완전히 달라질 수도 있었어.
공룡의 시대가 저물고 포유류가 뭍으로 올라와, 원숭이가 관을 쓰고 대륙의 새로운 귀족이 되었지. 그런데 이 원숭이들이 공룡보다 더 강인했을까? 더 똑똑했을까? 아니면 그저 운이 더 좋았을 뿐일까?
우리 인간 사회 전체도 마찬가지야. 노예제도가 사라진 것은 인간의 도덕성이 향상되어서가 아니라, 노예제도를 유지할 가능성이 사라졌기 때문이야. 새로운 가능성이 나타나면 언제나 누군가는 시도하기 마련이지.
이 세상은 순식간에 변할 수 있어. 문명은 하룻밤 사이에 야만으로 퇴보할 수 있지. 문명이란 지구 생물권과 대기권 사이에 낀 얇은 막에 불과해. 우리는 그것을 더없이 아껴야 하지만, 그 연약함 또한 알아야 해.
……
인간의 백 년 인생은 찰나의 틈이고, 천 년의 역사는 손가락 튕길 사이야. 시인은 그저 감상에 젖을지 모르지만, 현실의 정치가라면 그 현실성을 고려하지 않을 수 없어.
인생은 과연 백 년뿐일까? 천 년의 역사는 역조(회귀)하지 않을까? 이것은 기발한 상상력이 아니라 가능성에 대한 판단이야.
여기에는 뛰어난 직관과 예리한 관찰력이 필요해.
너는 교과서에서 우리가 왜 인공지능의 어떠한 실체나 가상체도 제작을 거부하는지만 배웠을 거야. 하지만 사실 이건 단순한 윤리 문제가 아니라 권력 쟁탈의 문제이기도 해.
기술은 현대 사회에서 권력의 한 축이야. 모든 시스템 전반에 기술이 관여하고 있어. 우리는 기술이 전체 권력 구조를 재편하는 것을 무시할 수 없으며, 모든 기술은 무기화될 가능성을 품고 있어.
생명공학 기술도, 알고리즘 기술도 모두 마찬가지야. 연합정부가 지금까지 윤리위원회를 유지해 온 이유가 바로 여기에 있지. 윤리위원회는 민간의 기술이 무기화되는 것을 억제할 뿐만 아니라, 정부가 지나치게 위험한 기술을 무기화하지 않도록 감시하기도 해. 핵무기는 우리 시대의 가장 큰 경고야.
그렇다면 이건 누구와 누구의 권력 쟁탈일까? 당연히 인간과 인공지능의 싸움이지!
기술의 진보는 늘 양의 피드백 시스템이었어. 특히 무기화 기술에서는 더욱 그렇지. 군비 경쟁이 바로 그렇게 생겨났어. 경찰이 쓰는 무기가 강력해지면 범죄자는 어떻게든 더 강력한 무기를 만들어내고, 경찰도 그에 맞춰 무장 수준을 끊임없이 높이고 인공지능의 역량을 강화하지. 그러다 언젠가 이 피드백 시스템이 강력한 인공지능 군대를 탄생시키게 되고, 그 군대는 우리 인류 전체의 악몽이 될 거야.
그들은 인공지능 기술의 일부만 사용할 뿐 전부를 쓰는 건 아니니 의식을 가진 인공지능의 출현을 막을 수 있다고 변명할지도 몰라. 그건 정말 터무니없는 헛소리야. 그게 어떻게 가능하겠어?
로봇에게 자의식이 없다면 스스로 결정을 내릴 수 없다는 뜻이고, 누군가 끊임없이 로봇을 대신해 결정을 내려야 해. 하지만 인간은 게으르지. 결국 누군가는 결정권의 일부를 로봇에게 위임하게 되고, 종국에는 모든 결정권을 넘기게 될 거야. 반면 로봇은 결코 게으름을 피우지 않으니까.
어쩌면 누군가는 로봇이 인간의 의식을 갖게 된다면 인간성을 갖는 것이고, 인간성을 갖게 된다면 인류의 일원으로 공존할 수 있지 않느냐고 반박할지도 몰라.
그런 자들은 역사를 조금이라도 읽어보았다면 그토록 순진하게 굴지 못할 텐데 말이야. 같은 인간끼리도 22세기 이전 수만 년 동안 혈통 때문에 서로를 공격하고, 종교적 신념 때문에 서로를 공격했으며, 심지어 더 우습게도 서로 다른 민족을 만들어내며 공격해 왔어. 같은 언어를 쓰고 조상이 같은 부족조차 원수가 될 수 있는데, 너는 이 로봇들이 인류의 공적이 되지 않을 거라고 어떻게 장담하겠니?
이건 SF 소설이 아니야. 현실에서 벌어지고 있는 일이지. 현실 정치의 논리는 적이 될 의도가 없다고 해서 위협이 없는 게 아니라, 적이 될 실력이 없어야 비로소 우리가 안전하다는 거야. 기술의 논리 역시 과거에 일어나지 않았다고 해서 미래에도 일어나지 않는다는 게 아니라, 기술적으로 가능하기만 하다면 충분한 시간 속에서 언젠가는 반드시 일어난다는 거지.
웨이드가 맞바꿀 카드로 쥐고 있는 것은 주석단의 수명을 50년 연장해 주겠다는 보장일 가능성이 높아. 그 늙은이들에게 부족한 건 이제 목숨밖에 안 남았으니까. 그들이 충분히 오래 살 수 있게 되면, 어쩌면 오직 노예만을 원하게 될지도 몰라. 심지어 자신의 자손조차 원치 않게 되겠지. 상속 문제 때문에 자손은 잠재적인 적이지만, 오직 노예만이 안전하니까.
장베이하이 역시 노예를 만들어낼 방법을 이미 생각해 두었을 거야. 그들은 심지어 일반 노예보다 다루기 훨씬 좋지. 바로 그가 만들어낸 로봇들이야. 그들은 절대적으로 복종하고, 명령을 완벽히 따르며, 배반이나 투항 등 인간을 상대로 걱정해야 할 일들을 전혀 염려할 필요가 없으니까.