宛依凝へ
こんにちは。時間が切迫しており、適当な紙が見当たらなかったため、私のコレクションであるこの絵画の裏に手紙を書いています。
この手紙を受け取る頃には、世界はすでに一変していることでしょう。そして、その変わり果てた世界の中で、私に見える唯一の「解」はあなたなのです。
私がこれから話すことの多くは、すぐには理解できないかもしれません。現在の世界についても、ますます分からなくなっていることでしょう。ですが、私はあなたを信頼しています。あなたが正しい判断を下し、正しい行動を取ってくれると信じています。
何から話せばよいでしょうか。あなたは今年で22歳ですね。それを見て、私が22歳だった頃の姿を思い出しました。あの頃は、外の世界がまるで一面にまばゆく輝いていて、あらゆる最高の絵巻がまさに開かれたばかりのようでした。あの頃の私は、あなたと同じように、一人の通信研究者として育成されていました。大移動の真っ只中のことでした。
……
ある交通事故が、私の世界に対する見方を一変させました。ABSの技術原理については、あなたもおおよそご存知のはずです。それは自動運転技術が爆発的に普及する前夜のブレーキ技術であり、自動車の制動時に車輪の動きに合わせてブレーキ油圧を自動調節し、車輪のロックを防ぐものでした。これは極めて安全な技術だと見なされていました。
しかし、それは危険な一歩を踏み出すことでもありました。運転手が車両に対する制御の権限を手放してしまったからです。そしてその時、私が運転していた車のABSシステムに不具合が生じました。走行中に突然急ブレーキがかかり、私は後続車に追突されて道路の外へと跳ね飛ばされたのです。
そのような瞬間は、神を信じる者にとっては啓示の瞬間と言えるでしょう。この出来事は、技術に対する私の信頼を激しく揺るがしました。とりわけ、人間が制御できない技術に対する信頼を。
車内に座って消防車が来るのを待っていた数十秒の間、生きた心地のしなかった私は、ABSと自動運転技術の歴史と未来を振り返っていました。真に私を恐怖させたのは、この一連の出来事を誰も止められないように思えたことでした。
先ほど私の身に起きたこの例のように、間違いなく低確率の事象として扱われ、無視される範囲に追いやられるはずです。データ上では間違いなく自動
技術の論理上、問題が起こり得る事象というものは、確実に問題を起こすのだと私たちは知っています。ただ時間の長短の問題にすぎません。その上、人々の楽観論や新技術をもてはやす空気のせいで、巨大な壁に衝突して初めて反省がなされるのが常なのです。
犯しても許される過ちもありますが、中には取り返しのつかない過ちもあります。例えば、自動運転技術による事故であれば、世界中で犠牲になるのはせいぜい数千人程度かもしれません。
では、全人類を死に至らしめるような技術は存在するでしょうか。存在します。核兵器こそがそうした技術です。しかし幸いにも、人類に危機が及ぶ寸前、様々な巡り合わせによって核兵器は削減され、破滅は免れました。
現代における核兵器とは何か。それはAIです。
このことに思い至るたび、私は針のむしろに座らされているかのような、拭い去れない不安に苛まれます。
私たち人類は自覚しなければなりません。この世界は最初からこのように存在していたわけではなく、誰もが享受している暮らしも天然に存在しているわけではないということを。その基盤を忘れ去ってしまえば、危機が訪れます。この世界は必然的に進歩するものではなく、時代の前後関係が必ずしも発展を意味するわけでもありません。私たちが想像する進歩など、単なる偶然にすぎないのです。歴史家が総括した法則も、後知恵にすぎず、すべては全く別の形をとっていた可能性が十分にあるのです。
恐竜の時代が終わりを告げ、哺乳類が陸に上がり、猿が冠をかぶるようにして大陸の新参の覇者となりました。しかし、その猿たちは恐竜よりも強靭だったのでしょうか。より賢かったのでしょうか。それとも、単により幸運だっただけなのでしょうか。
これは私たち人類社会全体にとっても同様です。奴隷制度が消滅したのは、人類の徳性が向上したからではなく、奴隷制度の可能性そのものが失われたからです。新たな可能性が現れたときには、必ずそれを試みる者が現れるのです。
この世界は突然変わり得ます。文明は一夜にして野蛮へと退行することもあります。文明とは、地球の生物圏と大気圏の間にあるごく薄い一層にすぎません。私たちはそれを限りなく惜しみ慈しんでいますが、同時にその脆さを知る必要があるのです。
……
人生の百年など束の間の隙間であり、千年の歴史も指を弾く一瞬にすぎません。詩人ならただ感慨に浸るだけかもしれませんが、現実主義の政治家としては、その現実性を考慮せざるを得ないのです。
人生は本当に百年だけなのか。千年の歴史は逆流するのか。これらは卓越した想像力などではなく、可能性の判断なのです。
これには並外れた直感と、鋭敏な観察力が求められます。
あなたは教科書で、なぜ私たちが人工知能のいかなる実体や仮想体の構築をも拒絶するのかを学んだだけかもしれません。しかし実際のところ、これは単なる倫理問題にとどまらず、権力闘争の問題でもあるのです。
技術は現代社会における権力の一極です。ありとあらゆるシステムに技術が関与しており、それが権力構造全体をつくり変えている事実を私たちは無視できません。そして、あらゆる技術には兵器化される可能性があるのです。
バイオテクノロジーもアルゴリズム技術も同様です。これこそが、統合政府に倫理委員会が常設されてきた理由です。倫理委員会は民間技術の兵器化の可能性を抑え込むだけでなく、政府があまりに危険な技術を兵器化しないよう監視も行っています。核兵器は、私たちの時代に対する最大の警鐘です。
では、これは誰と誰の権力闘争なのでしょうか。当然、人間と人工知能の闘争です！
技術の進歩は常に正のフィードバックシステムとなってきました。特に兵器化の技術においては顕著で、軍拡競争はまさにそうして生じました。警察の武器が強力になれば、犯罪者はより強力な武器を生み出そうとし、警察もそれに応じて武装レベルを引き上げ、人工知能の能力を高めていきます。この正のフィードバックシステムが強力な人工知能の軍隊を生み出すその日まで。そしてその軍隊こそが、私たち人類全体の悪夢となるのです。
彼らはこう反論するかもしれません。「人工知能技術の一部しか使わず、全部を使わなければ、意識を持った人工知能の出現は防げる」と。これこそ公然たる寝言です。そんなことがあり得るでしょうか。
もしロボットに自己意識がなければ、自ら意思決定ができないことを意味します。これには人間が絶えずロボットに代わって意思決定を行う必要がありますが、人間は怠惰な生き物です。最終的には、誰かが意思決定権の一部をロボットに委ね、やがてすべての意思決定権を委ねるに至るでしょう。そしてロボットは、決して怠けたりはしないのです。
あるいは、こう反論する者もいるかもしれません。「ロボットが人間の意識を持てば、それは人間性を持ったということだ。人間性を持ったのなら、人類の一員として存在できるではないか」と。
こうした者たちも、歴史を少し学べばそこまでナイーブにはならないはずです。同じ人間同士であっても、22世紀以前の数万年にわたり、血縁を理由に攻撃し合い、宗教的信仰を理由に攻撃し合い、さらには滑稽なことに異なる民族という概念を作り出して攻撃し合ってきました。同じ言語を話し、同じ祖先を持つ部族同士でさえ骨肉の争いを演じることがあるというのに、それらのロボットが人類共通の敵にならないと、どうして保証できるというのでしょうか。
これは決してSF小説ではなく、現実に起きていることです。現実政治の論理とは、「敵になる意図がないから脅威ではない」ということではなく、「敵になる実力がないからこそ、私たちは安全である」ということです。技術の論理もまた、「過去に起きなかったから未来にも起きない」ということではなく、「技術的に可能であるならば、十分な時間さえあれば必ず起きる」ということなのです。
ウェイドが取引材料として提示し得るのは、主席団に対する「寿命を50年延ばす」という保証でしょう。あの老人たちに足りないものといえば、もはや命くらいしか残っていません。彼らが十分に長く生きられるようになったとき、彼らは奴隷だけを欲するようになるかもしれません。自らの子孫すら望まなくなるでしょう。子孫は相続の関係上、潜在的な敵となりますが、奴隷だけは安全だからです。
張北海もすでに奴隷を創り出す方法を考え抜いているはずです。それらは奴隷よりもさらに都合よく使えます。それこそが、彼の製造するロボットです。完全に服従し、命令に完全に従い、反乱や降伏など人間が懸念せねばならない事態を心配する必要が全くないのです。