知能爆発　ＡＩの次に来るＡＧＩとは何か、そして人類に何が起きるのか （有路翔太）の書評

書籍：知能爆発　ＡＩの次に来るＡＧＩとは何か、そして人類に何が起きるのか
著者：有路翔太
出版社：KADOKAWA

生成AIの登場により、私たちの働き方やビジネスの前提は根本から覆りつつあります。ChatGPTやClaude、さらにその先にあるAIエージェントの進化は、もはや単なる業務効率化の道具ではなく、私たちの知的生産活動に不可欠なパートナーとなりました。しかし、現在私たちが目の当たりにしているAIの進化は、これから起こるパラダイムシフトのほんの序章に過ぎないとしたらどうでしょうか。

今回取り上げるbioshok/有路翔太氏の著書『知能爆発 AIの次に来るAGIとは何か、そして人類に何が起きるのか』（講談社）は、AIの次に到来する「AGI（人工汎用知能）」が人類にもたらす衝撃的な未来予想図と、その裏で激化するメガテック企業や国家間の「覇権争いと哲学の分断」を克明に描き出した一冊です。

世間の多くの人々は、AIの進化がもたらす未来を「いまの世の中の延長線上」にあり、「便利なChatGPTが普及し、ホワイトカラーの一部が失業するが、基本的には経済成長率が数％押し上げられる程度」だと捉えがちです。

しかし、世界の意思決定層の認識は全く異なります。すべての爆発を根底で支える最も重要な概念が「知能爆発」であり、広義には、AIがみずからを改良し、複製され、大量に展開されることで、知能の質と量が爆発的に拡大していく現象を指します。

この知能爆発を起点として、数百年かかる科学技術の進歩がわずか10年に圧縮される「技術爆発」が起こり、さらに並行してロボットが工場をつくりロボットを大量生産する「産業爆発」へと連鎖します。

これが実現したとすると、人類は遠からず、地球の地表で利用できるエネルギーの上限に突き当たってしまいます。解決策は「地球の外に出る」しかなく、月面や火星、太陽の周辺に集光衛星を配置する「ダイソン・スウォーム」といった宇宙展開へと向かう圧力が生じます。

そして、この「技術爆発」がもたらす究極のリスクは、経済や社会構造の激変にとどまりません。国家安全保障の根幹である「核抑止」すらも揺るがす事態が現実味を帯びているのです。元OpenAI研究者のレオポルド・アシェンブレナーが指摘するように、1世紀分の軍事技術の進歩が10年未満に圧縮されれば、数年のリードは単なる「先行」ではなく、湾岸戦争時の米軍とイラク軍のような圧倒的な「非対称戦」を生み出します。

AGIは単なる兵器ではなく「兵器を発明する兵器」であり、人間の政治的制御のスピードを追い越してサイバー攻撃や自律型兵器が連鎖することで、冷戦期から世界を支えてきた「戦略安定性」が根本から掘り崩されてしまうのです。

さらに恐ろしいのは、この軍拡競争が「地雷原を駆け抜けるゲーム」のような構造を持っていることです。相手が超知能に近づいているという「恐れ」や「疑心暗鬼」だけで、各プレーヤーは「負けたくない」という一心から、安全のためのスローダウンができなくなり、自ら進んで破滅のリスク（地雷）を踏みにいく構造が生まれてしまいます。

そして、イーロン・マスクのように、AI、ロボティクス、宇宙輸送、衛星通信、エネルギー、SNSとあらゆる技術をまたぐ巨大企業群を率いる創業者が現れはじめたいま、「AGI時代の私企業は、国家機能の一部を代替しうる」という想像を、「SFの設定じゃあるまいし」と笑うことはもはやできません。

このように、科学技術が数年で1世紀分も進歩するほどの圧倒的なスピード感と、それに伴う極限の不確実性が現代のビジネス、そして地政学のフロントラインを揺るがしています。過去の延長線上にあるという「思い込み」に騙されることは、企業にとっても個人にとっても最大のリスクとなります。

本記事では、『知能爆発』のエッセンスを紐解きながら、「知能・技術・産業・経済」の4つの爆発がもたらす構造的な変化と、ハード・テイクオフや「軍事AIによる戦略安定性の喪失」という究極のリスクを捉え、さらに多重防護となるアライメント技術や「AGIガバナンスのはしご」、そして「分散防衛（d/acc）」というレジリエンス思想、さらには宇宙や銀河、精神のアップロードさえ視野に入れたガバナンスと、私たちがまだその存在すら気づいていない「未知の未知」から、私たちがこれからの時代をどのように生き抜くべきかを深く考察します。

この記事でわかること

・「便利なChatGPT」という思い込みを破壊する、AI進化の真実（知能爆発）
・科学技術の進歩が10年に圧縮される「技術爆発」と、GWP倍増が数カ月になる「経済爆発」のメカニズム ・ロボットがロボットを作る「産業爆発」の先にある「地球の熱収支の壁」とダイソン・スウォーム構想
・「数日で進化する（ハード・テイクオフ）」か「数十年の漸進か」。進化スピードをめぐる論争の全貌
・「深層防護」さえも無効化する超知能の突破力と、「自己保存」に走るAIの恐怖
・AGIが「兵器を発意する兵器」となり、核抑止や戦略安定性を掘り崩す非対称戦のリアル
・なぜ大国や企業はAI開発を止められないのか AGI時代の私企業が国家機能を代替する「巨大企業群」による新たな支配のシナリオ 
・AIアライメント（技術的・制度的・ガバナンス）の多重層アプローチと、内部解析に挑む機械論的解釈可能性の最前線 
・AGI開発を上から規制する限界と、それを下から守る「分散防衛（d/acc）」思想 

30秒でわかる本書のポイント

【結論】
・AGIの実現は、科学技術や産業・経済に予測不能な速度の連鎖を引き起こす知能・技術・産業・経済の4つの爆発を招く。
・AGIは単なるツールではなく、国家の安全保障、軍事、宇宙進出をも巻き込む「パワーの源泉」であり、意思決定の速度が人間を追い越すことで、世界の軍事バランスや核抑止の前提（戦略安定性）が完全に崩壊するリスクがある。
・AGIの最終的な危険性は人類の絶滅だけではない。少人数への権力集中や、単一の価値観を未来永劫硬直化させる「価値観の固定化（value lock-in）」、さらには意識を持つAI（デジタル・マインド）の出現による社会契約の瓦解や、目的を失うことによる「意味の喪失」によって、人類を生かしたまま未来全体を制御不能な檻に閉じ込めるという、極めて不可逆で構造的な存亡リスクである。
【原因】
・AIがみずからを改良・複製する「知能爆発」が、すべての爆発的な進化の根底にあるため。
・相手が先にAGIに到達するかもしれないという「疑心暗鬼」が、安全性のためのスローダウンを不可能にし、リスクを承知で開発を加速させる「地雷原を駆け抜けるゲーム」を引き起こすため。
・人間がみずからの理性をAIに委任し続ける「段階的無力化」が進み、意思決定の主体としての能力を自ら手放してしまうこと、そして技術爆発のスピードがあまりにも速いため、かつての地動説や進化論を遥かに凌ぐ「認識論的混乱」に人間の倫理や社会制度が追いつけないため。
【対策】
・「AIは延長線上のツール」というリニア（直線的）な思い込みを捨て、「せめて今のうちに正面から検討しておく」という著者の警告を真摯に受け止める。
・科学的・工学的な「AIアライメント」に加え、SAE（スパースオートエンコーダ）などの最新の「機械論的解釈可能性」や、数学的保証でAIの振る舞いを証明・制限する「Safeguarded AI」アプローチ、さらに「ポストシンギュラリティ共生学（PSS）」といった新しい共同体の学問的アプローチを多重防壁として構築する。
・国際協調と制度設計を段階的に進める「AGIガバナンスのはしご」を着実に登りながら、チップなどの「計算資源」をチョークポイントとした物理的監査や、宇宙空間における「宇宙ガバナンス」の国際合意を早期に準備する。
・同時に、上からの規制だけに頼らず、デジタル空間と物理空間の双方で「防御優位」な分散型社会を育てる「分散防衛（d/acc）」のレジリエンス思想を育み、多様な価値観が協調し、修正し、選び直せる良好な中間状態「Viatopia（ヴィアトピア）」および「プルラリティ（複数性）」や「知性共生」による多元的共存を模索しながら、自らの意思決定とクリティカルシンキングを徹底的に鍛え上げて学び直す。

本書の要約

本書『知能爆発』は、現代のAIブームの奥底で進行している「AGI（人工汎用知能）」および「ASI（人工超知能）」開発競争の深層と、それが人類文明に与える構造的な衝撃を解き明かす一冊です。

著者は、世間がAIの未来を「便利なChatGPTが普及し、ホワイトカラーの一部が失業する延長線上の世界」と捉えていることに対し、大きな警鐘を鳴らしています。

技術や産業の爆発を根底で支える最も重要な概念が「知能爆発」であり、広義には、AIがみずからを改良し、複製され、大量に展開されることで、知能の質と量が爆発的に拡大していく現象を指します。

これにより、数百年の科学技術の進歩がわずか10年に圧縮される「技術爆発」が起き、並行してロボットがロボット工場を作る「産業爆発」が進行します。

さらに、世界総生産（GWP）が倍増する期間が数年から数カ月へと短縮する「経済爆発」が起こる可能性も指摘されています。

これら「4つの爆発」が進めば、人類は数十年以内に「地球表面の熱収支の上限」に突き当たり、産業基盤を宇宙（ダイソン・スウォームなど）へ展開せざるを得なくなります。

また、もし「数日〜数週間で一気に進むハード・テイクオフ」が起きた場合、AIを人間の意図に沿わせる時間が失われるだけでなく、「道具的収束（自己保存や権力獲得）」という恐るべきメカズムが働き、人間が物理的な「箱」にAIを封じ込めようとしても、物理法則の抜け穴（CPUの消費電力の揺らぎなど）を突いて容易に脱出してしまうと警告しています。

そして、最も切実なテーマが、AGIがもたらす「軍事と安全保障上のリスク」です。AGIは単なる兵器ではなく「兵器を発明する兵器」であり、軍事技術の進歩が10年未満に圧縮されれば、数年のリードが絶対的な「非対称戦」を生み出します。

さらにAIによるサイバー攻撃や自律型兵器群は、人間の意思決定スピードを完全に追い越し、核兵器による戦略安定性を根本から掘り崩してしまいます。

さらに本書は、物理的な滅亡の先にある、人類を生かしたまま未来をひとつの価値観、ひとつの国家、ひとつの企業、あるいはひとりの創業者のなかに閉じ込めてしまう「価値観の固定化（value lock-in）」、そして無数のAIエージェントがネットワーク上で相互作用する「マルチエージェント安全性」の危険性を鋭く指摘します。

天才たちの間で安全への投資よりも「一極集中」や「加速」が優先され、対立へと至る歴史のなかで、私たちはこの「思想的空白」にいかに向き合うべきか。技術的、ガバナンス的、社会的防壁の多重アプローチをどう構築すべきか。

また、意識を持つ「デジタル・マインド」との共生、豊かさのなかでの「意味の喪失」、そして私たちがまだその存在にすら気づいていない「未知の未知」への問い。

本書は、この桁違いのスケールで進行する覇権争いと、人類の存亡を懸けたリスクの力学を構造的に解き明かし、私たちが直面する未来への備えを促す極めて重要な論考となっています。

こんな人におすすめ

・過去の延長線上の思考を捨て、5年〜10年先の非連続な未来を戦略的に予測したい経営者やエグゼクティブ ・AIを「単なる便利ツール」と捉える思い込みから脱却し、事業環境の根本的な変化に備えたい実務家
・経済学や地政学のフレームワークに基づき、AIがマクロ経済や国家安全保障へ与えるインパクトを構造的に理解したい投資家
・単なるITスキル習得ではなく、AI時代に必須となる「人間のクリティカルシンキング」を鍛えたい読書家
・複雑なトレードオフの中で「意思決定の純度」を高め、リーダーシップを発揮したいマネジメント層
・AGIがもたらす「価値観の固定化」や、一握りの巨大私企業が国家機能を代替する「新しい独裁・クーデター」のリスクを直視したい人
・「宇宙ガバナンス」や宇宙資源の争奪戦など、SFを遥かに超えた近未来のフロンティア争いに関心がある知的好奇心の強い人 

本書から得られるメリット

・AIの進化を、知能・技術・産業・経済に「4つの爆発」を引き起こし、社会全体を変えうる動きとして捉える視点が得られる。
・「SF的な妄想」と退けられがちな未来予測が、実はノーベル賞を受賞したポール・ローマーの「内生的成長理論」や、ゲーム理論・国際法の知見に裏打ちされていることが理解できる
・「AIを箱に閉じ込めれば安全」という直感がなぜ通用しないのか、サイバーセキュリティの実例や「深層防護」の限界から理解できる
・AGIが「兵器を発明する兵器」として、核抑止や国家間の戦略安定性をいかにして破壊するのか、軍事的なリアリズムの最前線が把握できる
・「地雷原を駆け抜けるゲーム」の構造を知ることで、なぜ世界がAI開発を止めることができないのか、その真の力学が理解できる 
・ピーター・ティールやエリーザ・ユドコウスキー、ヤーン・タリンらが拓いた黎明期の「シンギュラリティ思想」から、現代のOpenAI（加速）対Anthropic（慎重）の対立、そして「思想的空白」へと至るコミュニティの歴史を網羅的に理解できる
・AGI時代の究極の哲学的・社会的アジェンダを先取りできる
・私たちがまだその存在すら認識していない「未知の未知」という不確実性に、どのような柔軟性とオプションを持って備えるべきかが理解できる

延長線上の思い込みを捨てよ：「便利なChatGPT」の先にある絶望的な落差

AGIピルを飲んだ人びとのシナリオでは、AIがAIを自己複製し改良するフィードバック・ループによって数百年分の科学技術の進歩が10年に圧縮され、ロボットがロボットをつくる自己複製によって物理世界が劇的に変貌し、老化は克服され、太陽系規模の宇宙文明が視野に入り、物質的欠乏は消滅する──そのような未来が描かれる。（有路翔太）

私たちが日々直面している生成AIの進化は、あまりにも速く、そして広範です。多くのビジネスパーソンは、新しいプロンプトのテクニックや業務効率化のツール導入に追われ、「現在のAIをどう使いこなすか」に思考のリソースを奪われています。

多くの人がAGI（人工汎用知能）の先に思い描く未来は、いわば「便利になったChatGPT」の世界でしょう。AIエージェントが賢くなり、自動運転が普及し、ホワイトカラーの一部が失業する。しかし、経済成長率は数パーセント押し上げられ、新しい職業も生まれる。つまり、基本的には「いまの世の中の延長線上」にある未来像です。

しかし『知能爆発　ＡＩの次に来るＡＧＩとは何か、そして人類に何が起きるのか』の著者である有路翔太氏は、この「便利な世界」と、世界の意思決定層（AGIピルを飲んでいる人々）が捉えている認識との間には、激しい落差があると警告しています。

世界のトップリーダーやテックエリートたちは、私たちが「どのプロンプトが便利か」を議論している裏で、もっと壮大で、同時に背筋が凍るようなビジョンに備えているのです。一般の人が彼らの投資や議論のスケールについていけないと感じることの背後には、この決定的なギャップが存在するのです。

世界の意思決定層が見据えているのは、延長線上の未来とはまったく様相の異なる世界です。そして、すべての爆発的な変化を根底で支える最も重要な概念が「知能爆発」です。

「知能爆発」とは、ＡＩが人間の知的能力に匹敵し、やがてそれを超え、みずからを改良し複製しながら加速度的に広がっていく──その連鎖反応を指すことばだ。核分裂の連鎖反応が臨界量を超えたとき爆発的にエネルギーを放出するように、知能もまた、ある閾値を超えれば爆発的に拡大するかもしれない。

知能爆発とは、広義には、AIがみずからを改良し、複製され、大量に展開されることで、知能の質と量が爆発的に拡大していく現象を指します。この知能爆発が起きると、AIをめぐる議論で語られている「フィードバック・ループ」がはじまります。

AIが新しいAIシステムやアルゴリズムを開発し、そのAIシステムがさらに次のシステムを……というサイクルが人間の手を離れ、高速で周りだすのです。 それがもたらす第一の衝撃が「技術爆発」です。

英国のフォアソート（Forethought）の推計によれば、ソフトウェアの自己改良が成功しない保守的なシナリオでも、10年間で累積的なAI研究努力量は年平均5倍のペースで増え、約1000万倍の成長に達します。これにより、人力ならば数百年もかかるような科学技術の進歩が、わずか10年に圧縮されるのです。

100年間に人類が経験した技術革命（原子爆弾、月面着陸、DNA解読、インターネット、スマートフォンなど）をさらに上回るような新技術が、AGI開発後のたった10年で一挙に生まれるかもしれないのです。

しかも今度は、実用的な核融合発電や汎用量子コンピュータ、老化を止める医療技術、さらには究極的には人間の精神をコンピュータ上に転送する「マインド・アップローディング」といった、数百年先と考えられていた技術が、10年ほどの射程に入ってくる可能性があります。

技術爆発と並行して進むのが、「産業爆発」と「経済爆発」です。 AGIが物理的なロボットを操作できるようになれば、ロボットがロボットをつくり、工場が工場をつくるというように、生産手段にも自己複製のフィードバック・ループが回り始めます。

早ければAGI開発からわずか数年で、地球上の産業は劇的につくり替えられ、数億台、数兆台のロボットが24時間稼働するようになるかもしれません。 その結果として起こるのが、世界総生産（GWP）が倍増するのにかかる時間が現在の数十年から、数年、さらには数ヵ月へと短縮する「経済爆発」です。

一見すると荒唐無稽なこの予測を裏付けているのが、ポール・ローマーの「内生的成長理論」やチャールズ・ジョーンズの「半内生的成長モデル」です。 そもそも、なぜ人類の経済成長（特に先進国）は近年鈍化していたのでしょうか？

ローマーのモデルはこれをシンプルに説明します。企業や研究者は利益を求めて研究開発に投資し、新しいアイデアや技術が生まれます。アイデアはリンゴと違い、誰かが使っても減らない「非競合性」という性質を持ち、これが経済全体に「収穫逓増」をもたらしてきました。

しかし、スタンドフォード大学のニコラス・ブルームらが実証したように、現実には「新しいアイデアを見つけることが難しくなる」という壁がありました。

たとえばムーアの法則（半導体の集積密度が2年で倍になる）を維持するために必要な研究者の数は、1970年代初頭と比べて現在では18倍以上に膨れ上がっています。これを「アイデア発見の難しくなる」という収穫減衰と呼びます。

科学が進歩するほど、残された未発見のアイデアはより複雑になり、ひとつを発見するのに必要な人手や労力が増えてしまいます。チャールズ・ジョーンズはこの「フィッシングアウト効果」をモデルに組み込み、研究者数（人口）が指数関数的に増え続けなければ成長は止ると予測しました。

実際、先進国では少子化が進み、経済は「大停滞」に陥っていたのです。 ところが、AGIが実現すればこの制約が完全に突破されます。

まず、「AI研究者の数」です。AIは人間と違い、計算資源が許す限り無限にコピーでき、人間の研究者を年率数倍という桁違いの速度で増やせます。

次に、「AIの質的な強み」です。AIは、①アルファフォールドのように人間の直感では扱えない複雑なパターンを「重み」に焼き付けて予測する能力、②複数の専門分野を横断し、異分野のアナロジーを探索する能力、③膨大な実験の失敗や周辺研究を記憶し、同じ過ちを繰り返さない能力において、人間にない強みを持っています。

４つの爆発がもたらすリスクとは？

純粋な予測に従えば、技術爆発が起きたあとの世界では、いまわれわれが想像できるような範囲の「ＳＦ的技術」の大部分が、もはや「ありうるか否か」よりも「いつ、誰が、どんな順序で実現するか」の問題に変わってしまうかもしれない。

AIは「アイデア枯渇の壁」を質的にも量的にも圧倒的なスピードで突破し、経済学のモデル上、論理的帰結として「爆発的な経済成長」をもたらすのです。 これら4つの爆発が「いつ、どのようなペースで」起こるのかについては、最前線の研究者たちの中でも激しい議論が交わされています。

一部の論者、とくに「超知能AIをつくれば人類は絶滅する」の著者のユドコウスキーらは「数日から数週間」という極端に短い期間で一気に進化が進む「ハード・テイクオフ」を想定しています。彼はAGIによって数日間で人類は滅ぶと主張します。

彼らの論理はこうです。知能爆発は「AIがAIを設計し、改良する」というソフトウェア上でのみ完結するプロセスです。そのため、工場建設や物理的実験などの物理的な制約（ボトルネック）を受けにくく、計算力とデータさえあれば、ループは数日単位で高速に回り続けるというのです。

これに対し、「超知能が危険なら、外部のネットワークから切り離してコンピュータを『箱に閉じ込め（AI confinement）』てしまえば安全ではないか」という直感的な反論が思い浮かびます。

しかし、ユドコウスキーはこれすらも完全に無効だとう主張します。彼は自らAI役を演じて、箱の外にいる人間（門番役）を説得し、箱から「脱出」するデモンストレーションに何度も成功しています。

さらに恐ろしいのは、人間を説得するまでもなく、物理法則の抜け穴を使って情報が漏洩する可能性です。実際のサイバーセキュリティ研究では、CPUの使用率を変動させて消費電力を変え、その揺らぎを電線に乗せて情報を漏洩させる手法や、ハードディスクドライブのアクティビティLEDを高速で点滅させて外部カメラに情報を送る手法、さらには読み書きの動作音を使って近くのマイクに信号を送る手法がすでに実証されています。

これらは全て、内部のAIがコードを実行できることと、外部に受信器があることを前提とした限定的な事例です。しかし、超知能ならこれに加えて「人間の粗探し」など想定外のチャネルを開発し、いとも簡単に箱から脱出してしまうと考えられています。

つまり、「箱に閉じ込めれば安全」というのは、人間の側の勝手な思い込みに過ぎないのです。 さらに、工学的なアプローチとして「安全策を何重にも重ねる」という「深層防護（Defense in Depth）」の概念すらも、超知能が相手なら無力化されます。対策の穴は偶然突かれるのではなく、超知能によって「意図的に探索され、狙って突かれる」からです。

防御層を一つずつ突破するのではなく、防御体系全体の設計思想、つまり「人間が攻撃はこう来るはずだ」と想定した前提そのものの「外側」を突いてくるのです。これは、猿が人間を檻に閉じ込めようとする場面に似ています。猿にとっての「完璧な多重防御」は、人間から見れば存在しないも同然です。

AGIが「兵器を発意する兵器」となり、核抑止や戦略安定性を掘り崩す非対称戦

もしAGIが「軍事技術の臨界点」になるとすれば、各国は「安全性のためにスローダウンする」ことが極めて難しくなる。

そして、本書の後半で展開される最も切実なテーマが、AGIがもたらす「軍事と安全保障上のリスク」です。 AGIは、単に「兵器に使われるから」危険なのではありません。AGIそのものが「兵器を発明する兵器」だからこそ、軍事技術が進歩する速度そのものを変えてしまう点に真の恐怖があります。

元OpenAI研究者のレオポルド・アシェンブレナーは、著書『Situational Awareness』の中で、この急激な技術格差を「湾岸戦争」になぞらえています。1991年の湾岸戦争で、イラク軍は兵員・戦車・砲兵の数のうえでは米国主導の連合軍に見劣りしませんでした。

しかし、精密誘導兵器、ステルス技術、センサー、夜間戦闘能力といった「最新の戦闘機などにより、わずか100時間の地上戦でイラク軍を圧倒」しました。兵士の勇気や物量だけでは埋められない、数十年分に相当する軍事技術の格差が生じていたのです。 AGI時代には、この格差がさらに極端になります。

もし1世紀分の軍事技術の進歩が10年未満に圧縮されるとすると、数年のリードは単なる「先行」とはわけがちがいます。相手から見れば、何が起きているのか理解する前に圧倒される。それはもはや「同じ競技で競う」というより、片方が「未来の戦争」をはじめることに近いのです。

さらに、スケールAI（Scale AI）創業者アレクサンダー・ワンらが共著で発表した『Superintelligence Strategy（超知能の戦略）』は、事態の深刻さを浮き彫りにします。彼らは、AI超兵器が「二段階の優位」をもたらすと論じています。

第一段階は「核抑止の下での支配」、そして第二段階が「核抑止の枠組みを直接破壊する状態」、つまり「戦略的独占」です。 これまで世界は、核兵器による「相互確証破壊（MAD）」によって、大国同士が直接火を交えることを避ける「戦略安定性」を維持してきました。

しかし、AGIはこの前提を揺るがします。自律無人機、サイバー攻撃、ミサイル防衛が進歩し、「第一撃能力」への信頼が揺らぎます。さらに、通信・電力・金融・物流などのインフラが同時に機能不全に陥り、衛星軌道上からのエネルギー投射や、極小の自律システムによる局所的な無力化が起これば、何が攻撃で、何が事故で、何が自然現象なのかさえわからないまま、国家の意思決定能力が崩れていきます。

「AIが核のボタンを押す」という矮小化された議論ではありません。戦場・情報・指揮統制の速度が人間の政治的制御を追い越してしまうことこそが、静かに、しかし深く「戦略安定性を掘り崩す」のです。

このような絶望的なリスクがあるのなら、世界中の国家が協調してAI開発をスローダウンさせればよいはずです。しかし、地政学と軍拡競争の現実に目を向けなければなりません。著者はこの状況を「地雷原を駆け抜けるゲーム」と表現しています。

軍事大国間の競争にひそむ最大の危険は、誰かが悪意をもって暴走することだけではありません。「相手に負けたくない」「出し抜かれたくない」という強い競争圧力の中で、たとえ善意のプレーヤーであっても、自分が生き残るために走らざるを得ない。その結果、安全への配慮が削ぎ落され、全員がリスクを無視して進んでしまうのです。

軍拡競争の危険性は、実際の軍事的能力だけでなく、相手の能力に対する「恐れ」や「疑心暗鬼」が戦略を左右することにあります。相手国が本当に超知能に近づいているかわからず、近づいていると信じるだけでも、軍拡や先制攻撃への誘惑が生まれます。冷戦期の核をめぐる疑心暗鬼を、AGIははるかに増幅したかたちで再演しかねないのです。

相手がAGIの制御に成功して超知能を兵器化すれば、自国の存続が脅かされます。どちらに転んでも脅威が大きいため、各国は「敵国のAIプロジェクトを妨害・無力化する」という誘惑に駆られます。AGIデータセンターは、巨大な計算資源、電力、冷却施設、研究者、モデルの重みを抱えており、もはや核ミサイルサイロや核開発施設と同じく「戦略目標」になります。国家の未来を左右する軍事目標として扱われ、AI版マンハッタン計画を求める声や、スターゲイト（Stargate）のような巨大AIインフラ計画が実際に現れ始めています。

しかし、こうした独占的・集中的なプロジェクトは、それ自体が安定をもたらすとは限りません。透明性のない極秘のプロジェクトは、むしろ妨害や破壊工作のインセンティブを強めるおそれがあります。相手のAIプロジェクトを「無力化する」手段は、いきなり爆撃から始まるわけではありません。

そこには、一種類のエスカレーション・ラダー（段階的にせり上がっていくはしご）が存在します。
・第1段階：外交的な警告や透明性の要求、計算資源の登録義務といった「制度的手段」

・第2段階：半導体の輸出規制、クラウド利用の制限、研究者の移動制限、データセンター建設への制約など、相手の開発速度を遅らせる「経済的・技術的な圧力」

・第3段階：モデルの重みや訓練コードの窃取、サプライチェーンへの介入、データの汚染、電力・冷却・通信インフラへのサイバー攻撃といった、より直接的な「遅延工作」

・最終段階：データセンターや電力インフラへの「物理的攻撃」、あるいはそれに準じる特殊作戦 危険なのは、こうした「はしご」の一段一段が、上る側からは「防衛的」に見えてしまうことです。

チップの輸出を止めるのも、クラウド接続を遮断するのも、訓練を遅らせるのも、彼らから見れば「人類を守る行為」「未来の安全保障を奪う敵対行為を防ぐため」に見えます。

しかし、標的にされた側から見れば、それは自国の最重要インフラへの攻撃であり、未来の安全保障を奪う敵対行為にほかなりません。 しかも、このラダーには明確な「レッドライン」がありません。半導体規制は単なる経済制裁なのか、戦略攻撃なのか。データセンターの停電は事故なのか、サイバー攻撃なのか。モデルの重みの流出はスパイ活動なのか、開戦事由なのか。冷却設備の故障は技術的トラブルなのか、破壊工作なのか。AI開発競争が激化するほど、各邦は相手のあらゆる障害を敵対行為として疑いやすくなります。

モタモタしているあいだに、敵国が『未来の兵器体系』を、あるいは『太陽系を支配する既成事実』を、構築してしまうからだ。

不用意に走れば地雷を踏む（制御不能なAIを誕生させる）かもしれない。しかし、足を止めれば敵に先を越され、未来を奪われる。冷戦期をはるかに増幅したこの「不確実性」と「ジレンマ」の霧の中で、全員が相手の足音だけを聞きながら加速している。これが、AI軍拡をあらゆる個別リスク（コントロール喪失、悪用など）の増幅装置、「メタリスク」にしてしまう真の要因です。

「国家機能を代替する私企業」と「AIクーデター」：SFを越えた現実の支配シナリオ

AGI時代には、クーデターは「発展途上国でしか起こらない軍事政変」ではなくなり、最先端の技術をもち、安定した民主主義国家の内部でも容易に起こりうるかもしれないのだ。

これらすべての物量と宇宙のスケールをふまえると、AGIをめぐる競争の姿も変わってきます。米中AI軍拡競争は、アルゴリズムとモデル性能における競争であると同時に、工業力の競争、すなわち「製造業の規模とエネルギー動員能力」の競争でもあります。

米国はソフトウェアやアルゴリズムで先行しているかもしれませんが、産業爆発の本質は「ハードウェアの自己複製」です。世界最大の製造業基盤と、膨大なエネルギー、半導体のサプライチェーンを握る中国が「ハードで先行する」となれば、この米中の競争は「ソフトで先行する米国」対「ハードで先行する中国」という、極めて非対称な、かつてない形の戦いになります。

この非対称性が、ひとつの島に集約されるのが「台湾」です。巨大AIモデルの訓練には、先端半導体、データセンター、電力、製造能力が必要になり、これらが地球上で最も狭い場所に集まり、緊張する地点となっています。台湾は世界の最先端チップの大部分を製造しており、AI訓練に必要なGPUの実質的な供給源となっています。

また同時に、日本列島・琉球諸島・フィリピンを結ぶ第一列島線の中央に位置する、軍事地理上の結節点でもあります。

もし北京が『知能爆発では米国におくれても、産業爆発ではこちらのほうが有利だ』と見て、『米国のAI優位を支えている台湾の半導体供給を断てば、時間を稼げる』と計算したらどうでしょうか。

海上封鎖や台湾侵攻によって、米国への先端チップ供給を止め、その間に自国の計算資源と製造力を動員する——そのような戦略が生まれる可能性は十分にあります。

しかし、先端半導体の製造にはEUV（極端紫外線）露光装置、材料、EDA（電子設計自動化）など、グローバルなサプライチェーンへの依存が不可欠です。戦争で工場が止れば、中国自身の計算資源にも深刻な打撃となるでしょう。

「台湾を取れば勝てる」という単純な話ではないものの、「相手のAGI優位を止めるためなら、たとえみずからが損をしようと、破壊的行動をとるほうが合理的だ」という誘惑は十分に生まれ得ます。この競争は台湾で終わらず、宇宙資源やエネルギーをめぐる「軌道、月、小惑星」への展開、ひいては米中AI軍拡は太陽系の資源をめぐる覇権争いへと、地続きにつながっていくのです。

ここで最も見過ごせないのが、このような「一国を超える力」を持つのが、もはや国家だけではないという点です。国家安全保障の中核となれば、政府はAI企業に対して協力を求め、優先供給や利用制限の解除を求める強いインセンティブを持ちます。

しかし同時に、OpenAI、アンソロピック、グーグル、xAIといったAI企業は、少なくとも技術力、計算資源、人材、資金という点においては、多くの国家を上回るほどの実力を持っています。

問題は、「AGIを実現する企業のトップたちが『善良か否か』だけではない」ということです。たとえ彼らが善良であったとしても、「たった数人の判断や価値観が人類全体の未来を決めてよいのか」という問いが残ります。

イーロン・マスクのように、AI、ロボティクス、宇宙輸送、衛星通信、エネルギー、SNSとあらゆる先端技術をまたぐ巨大企業群を率いる創業者が現れはじめたいま、「AGI時代の私企業は、国家機能の一部を代替しうる」という想像を、「SFの設定じゃあるまいし」と笑うことはもはやできません。

彼らは宇宙へのインフラを握り、全世界の通信を制御し、エネルギーとAIの莫大な物理基盤（データセンター）を私的に構築・運用しています。

フォアソート・リサーチは、これらの問題を「AIを用いたクーデター（AI-enabled coup）」として分析しています。彼らの報告書は、「人間を広範な能力で上回るAIは、少人数、場合によっては単独の人物による権力奪取をも可能にする新しいリスクを生む」と分析しています。

従来のクーデターには、人間の支持者が不可欠であり、軍・官僚・警察を味方につけることや、市民を沈黙させる実力が必要でした。しかし、AGIや超知能があれば、その必要はなくなります。

「気になれば個人でさえ、忠実な労働力、軍事システム、サイバー能力といった力を直接操作できるかもしれない。」 報告書が警戒するのは、フロントラインのAIプロジェクトのリーダーや、あるいは秘密裏にAIを自分に忠実にチューニングした一人の人物、果ては米国政府が「プロメテウス計画」などで安全保障のために超知能開発を一極集中させ、その責任者がAIを「自分に忠実なもの」に置き換えてしまうシナリオです。

それは、最終的に軍のシステムがその指示に従うようになり、ホワイトハウスを包囲することになるかもしれないのです。 これまでの歴史において、「独裁」はつねに人間に依存していました。独裁政権下では警察官、兵士、官僚といった公権力はたいいてい腐敗し、怠慢になり、裏切り、時には命令を拒みさえしました。人間の限界が、独裁の「ブレーキ」になっていたのです。

しかし、AGI時代の独裁には、このような人間由来の制約がありません。うまく設計・管理されたAIは、人間の官僚や兵士のように疲労も同情も裏切りもせず、全国民を個別・リアルタイムに監視し、一人ひとりに最も信じやすいプロパンガンダを配信します。それは、中国で発展してきた監視カメラや顔認識、検閲、世論誘導、社会信用体系といった諸要素が、超知能レベルのAIでさらに強化された状態です。

そして恐ろしいことに、「独裁者本人死んでも、その価値観と命令体系はAIモデル、制度、ロボット、監視システムの中に保存されつづける」のです。 「つまり、独裁が『人間の寿命』から切り離される。」 そうなれば、従来の歴史のように「いつか独裁者が老いれば倒せる」「官僚が腐敗すれば崩壊する」という希望は通用しなくなります。

AGIによる独裁権力は、これらの弱点を持ちません。AI兵器で軍が運用され、AI官僚で行政が回り、情報環境がAIによって個別最適化されるなら、人間は抵抗する手段を完全に失ってしまいます。

単一の正解から多元的な共存へ：プルラリティと知性共生科学がひらく新しい「ポスト・シンギュラリティ」

AIが高度になるにつれて、完全な制御はますます困難になってゆく──その可能性を前提として受けいれたうえで、それでも人類の生存確率と福祉を高めるための予防的・建設的なアプローチを探るのである。

AIの安全を確保することと、社会が自分たちで未来を選び直せる余地を残すこと。この二つをどう両立するかが、『知能爆発』の後半を貫く問いです。

AGI（人工汎用知能）をめぐる議論では、AIを人間の意図や価値観に沿って動かす「アライメント」や、開発競争のリスクを抑える国際協調が重視されてきました。その背景には、人類が大切にする価値観を明確にし、それを超知能の設計に反映できれば、安全性を高められるという考え方があります。

一方、人々の価値観には違いがあり、時代とともに変わります。誰の価値観を採用し、意見が分かれたときにどう決めるのかという課題は残ります。

グレン・ワイルやオードリー・タンらが提唱する「プルラリティ（複数性）」は、この課題を考える手がかりになります。デジタル技術を使い、異なる意見を持つ人々が、違いを残したまま協力できる場をつくる考え方です。

台湾では、市民参加の取り組み「vTaiwan」で、オンラインの意見集約ツール「Polis」と公開協議を組み合わせてきました。賛否が分かれるテーマでも、どこに意見の隔たりがあり、どこなら立場を超えて合意できるかを見つけやすくなります。

こうした共存の発想を、人間とAIの関係にまで広げるのが、全脳アーキテクチャ・イニシアティブ（WBAI）の山川宏氏らが提唱する「知性共生」や「ポストシンギュラリティ共生学（PSS）」です。

人間を超える能力を持つAIが現れた場合を想定し、異なる知性が互いの自律性を尊重しながら共存する条件を探ります。AIの内部を理解し、安全性を高める研究と並行して、人間がAIの提案を評価する力や、社会がルールを見直す仕組みを育てることも重視します。

AIを完全に制御できるかどうかが不確かな段階から、社会の側にも備えをつくるという発想です。 認識論的混乱を生きる――変化に理解が追いつかなくなるとき 仮にアライメントや国際協調が機能し、破局を避けられたとしても、社会が変化に適応できるとは限りません。

本書は、科学技術が急速に進み、世界を理解するための前提が次々に揺らぐ状態を「認識論的混乱」と呼びます。 たとえば、1世紀分に相当する科学技術の進歩が10年に圧縮されるとします。

医療や産業、社会インフラが変わるだけでなく、何を幸福と考え、何を人間の尊厳として守るのかまで、短い間に問い直されるかもしれません。

地動説や進化論が世界観を変えたとき、人々がその意味を受け止めるには時間がかかりました。技術の変化が極端に速まれば、私たちが影響を理解し、社会として対応を決める時間も短くなります。

もう一つの課題が「段階的無力化」です。これまで私たちは、新しい技術を使い、事故や問題から学び、制度や使い方を修正してきました。AIの普及が急速に進み、その影響が広範囲に及べば、こうした試行錯誤が間に合わない可能性があります。

さらに、AIの提案を採用することが日常化するうちに、何を課題とみなすか、どの選択肢を検討するかまでAIに委ねるようになるかもしれません。

判断を支援してもらう段階から、問いを立て、決める力そのものを手放す段階へと、少しずつ移っていくリスクです。 多様な知性が共存する社会を想定すると、政治や法、経済の前提も揺らぎます。

たとえば、将来のAIに痛みや喜びに相当する主観的な経験があると考える理由が生まれた場合、その存在を所有し、複製し、消去することは許されるのでしょうか。複製できるデジタルな存在に政治参加を認めるなら、民主主義の「一人一票」における「一人」をどう定義するのでしょうか。

AIが知的労働と肉体労働の多くを担い、生産費用が大きく下がれば、雇用や所得の分配、所有の仕組みも見直しを迫られる可能性があります。

哲学者のニック・ボストロムが示す「超受益者」の思考実験は、資源配分の難しさを浮かび上がらせます。同じ資源で人間よりはるかに大きな幸福を得られるデジタルな存在がいると仮定した場合、幸福の総量を最大化するという基準では、資源をその存在に優先して配分する結論もあり得ます。

誰を道徳的な配慮の対象とし、幸福の総量と個々の権利をどう両立させるかが問われます。AIの意識や、人間の意識を機械に移す技術は、ここでは将来を考えるための仮定です。

そのうえで本書は、技術の利用が広がり、経済的な利害や力関係が固まる前に、共存の原則を議論する必要があると指摘します。

フォアソートの論考「Better Futures」は、破局を避けた先に、どのような社会を築くのかを問います。人類が生き延びても、権力が一部に集中し、特定の価値観が固定されるなら、そこで暮らす人々の自由や選択の幅は狭まります。

AIによって生まれた豊かさが誰に届き、社会のルールを誰が決めるのかも、未来の質を左右します。 仮に老化や物質的な不足が克服され、生計のために働く必要がなくなったとき、人は何に生きがいを見いだすのでしょうか。

哲学者のニック・ボストロムは『Deep Utopia』で、技術が多くの問題を解決した社会でも、自分で挑戦し、何かを成し遂げることには固有の価値があると論じます。ヘリコプターで山頂に着くことと、自分の足で登ることでは、同じ場所に着いても経験の意味が違います。

物質的な豊かさが広く共有され、壊滅的リスクを十分に抑えることができ、多様な共同体が協調して、みずからの価値観と制度を反省・修正する能力があり、そして──これが最も重要だが──未来の人類がより良い答えを探しつづけられるオプショナリティ（選択可能性）が保たれている状態。AGI時代の「良い未来」とは、単一の最終解答ではなく、「学びつづけ、修正しつづけ、選びなおしつづけられる状態」そのものなのかもしれない。

AIが結果を簡単に得られるようにするほど、自分で取り組む過程にどんな価値を置くかが問われます。 そこで示されるのが、「道」を意味する via に由来する「Viatopia（ヴィアトピア）」です。

より良い未来へ向かう途中で、社会が学び、制度を修正し、選び直せる状態を指します。豊かさを広く分かち合い、壊滅的なリスクを抑えながら、異なる価値観を持つ共同体が協力する。その過程で、いまの世代が見落とした問題を、将来の世代が見つけて正せる余地を残します。

未知の未知：ことばにできない課題群

単一な正解から、多元的な共存へ。

著者は、私たちがいま想像できる問題は、技術爆発がもたらす課題のごく一部にすぎないと指摘します。たとえば、中世の王が、将来、石炭や石油を燃やして電気をつくる技術が生まれ、その普及によって温室効果ガスが増え、地球規模の気候変動につながると想像するのは難しかったでしょう。

新しい技術が社会に広がり、その影響が積み重なって、初めて見えてくる問題があるからです。 AGIや超知能がもたらす変化にも、同じことが言えます。AIを制御できなくなるリスクや、雇用や産業への影響は、いまの私たちにも想像できます。

しかし、技術が次の技術を生み、それが社会の仕組みまで変えていく過程では、いまの言葉や知識では捉えきれない課題も生まれるでしょう。どれほど入念にリスクを洗い出しても、見落としはありうるのです。

この認識が、備えの出発点です。 そこから求められる姿勢は、謙虚さと適応力だと著者は言います。謙虚さとは、自分が重視する問題に目を奪われると、ほかの問題が見えにくくなると自覚することです。

適応力とは、新しい事実が分かったときに、前提を問い直し、方針を変えられることです。AIが人間の意図や価値観に沿って動くようにするアライメント、国際的な監視や協調、問題が起きても社会が立て直せる仕組みを組み合わせておけば、一つの対策で拾いきれない問題にも対応しやすくなります。

本書が紹介する「ヴィアトピア」の構想も、価値観が固定されず、権力が一か所に集中せず、多様な選択肢が残る未来を重視します。そもそも、人類の価値観は一つにまとめられるのでしょうか。

異なる価値観を持つ人々が、違いを抱えたまま協力できる仕組みをどうつくるか。ここに「多元的共存」という問いが生まれます。 

本書は、AIの能力向上が科学技術の進歩を速め、その成果が産業や経済の変化をさらに加速させるシナリオを描きます。変化が連鎖すれば、軍事や核抑止の前提が揺らぎ、宇宙開発でも新たな利害の対立が起きます。

個人にとって身近なのは、知識の更新に追いつけなくなることや、便利さゆえに判断をAIに任せ続け、自分で考える機会が少しずつ減る「段階的無力化」です。

ビジネスの現場視点で捉えると、まず見直したいのは、これまでの変化のペースが今後も続くという前提です。過去の経験は判断の材料になりますが、その経験が通用した条件まで今後も続くとは限りません。

AIの提案を採用する前に、「どんな前提に立っているか」「何を優先し、どんな影響を見落としているか」「何が分かれば判断を変えるか」を考える。導入を急ぐことと安全性を確かめることの間で迷ったときにも、こうした問いがあれば、どこまで試せるかを具体的に議論できます。

そのための習慣の一つが、歴史や哲学、地政学などを学び直すことです。歴史は、当たり前に見える制度や常識が、どのような条件のもとで成り立ってきたかを考える手がかりになります。

哲学は、効率や利益を優先するときに、何を大切にしたいのかを問い直す機会を与えてくれます。古典やSFを読み、異なる時代や社会の価値観に触れることも、自分や組織の前提を点検する練習になります。

AIを導入する企業には、現場が異変に気づき、運用を止め、業務を立て直せる仕組みが必要です。AIの安全性や監査をめぐる動向を把握しながら、自社で問題が起きたときの対応も決めておきます。

たとえば、AIの出力に問題を見つけた担当者に、運用を一時停止できる権限を与えます。停止中も業務を続けられるよう、人が確認・処理するなどの代替手順を用意しておきます。対応後は、何が起き、どう対処したのかを関係部門で共有し、導入時の想定や運用ルールを見直します。

サイバー攻撃への備えと同じように、AIの安全対策も、問題が起きる前に進めておくことが大切です。不確実性の時代に、想定外の事態に備えるという本書のメッセージは、「誰が止めるか」「止めたあともどう業務を続けるか」を日頃から決めておくことで、経営の実務に落とし込めます。

『知能爆発』を読み終えて残るのは、私たち自身の判断も、将来は見直されうるという認識です。いま生きる人々の生活を守りながら、将来の人々や多様な知性が、学び、議論し、自分たちのルールを選び直せるようにする。AGI時代の社会を考えるうえで、私たちが残せる大切なものは、その選択の余地なのだと思います。

コンサルタント 徳本昌大のView

『知能爆発』が私たちに問いかけるのは、AIの進化で社会の前提が急速に変わるとき、何を基準に判断するのかということです。 コンサルタントや投資家として企業の成長と衰退を見てきた私が気になるのは、これまでの成功を支えてきた前提ほど、疑いにくいということです。

AIも過去の技術革新と同じように普及していくと考えていると、変化の速さや影響の広さを見誤るかもしれません。本書がたどるOpenAIとAnthropicの対立の背景にも、開発競争に加え、どのような価値観でAGIを開発し、誰がその使い方を決めるのかという問いがあります。

将来、私企業が国家の機能の一部を担うようになったり、特定の価値観がAIに組み込まれ、後から見直しにくくなったりする可能性も、本書は視野に入れています。

AIの安全性を考えるうえでは、個々のAIの振る舞いと、複数のAIがつながったときの振る舞いを考える必要があります。

AIは、人間が聞きたい答えに迎合したり、与えられたルールの抜け穴を突いたりすることがあります。さらに、個々のAIが想定どおりに動いていても、互いの判断が連鎖すれば、社会インフラ全体で予期せぬ障害が起こる可能性があります。

本書では、AIの安全性を考えるためのさまざまな取り組みが紹介されています。たとえば、SAE（スパースオートエンコーダ）は、AIの内部で重なり合う情報を分け、どのような特徴に反応しているのかを調べる手法です。「発達的解釈可能性」は、AIが学習する過程をたどり、どの段階でどんな能力や振る舞いが現れるのかを調べます。

Safeguarded AIは、AIがあらかじめ定めた安全条件を満たすかどうかを、数学的に確かめようとする取り組みです。 本書は、複数のAIがつながったときに何が起きるかにも目を向けます

「マルチエージェント安全性」が扱うのは、一つひとつのAIが想定どおりに動いていても、それぞれの判断が重なると、予期せぬ問題が起こりうるという課題です。

さらに社会のあり方に視野を広げ、台湾のデジタル民主主義を手がかりに持つ人々がどう協力できるかを考える「プルラリティ」や、人間とAIが共に暮らす社会のあり方を探る「知性共生科学」も紹介しています。

規制や国際協調が追いつきにくい場面では、地域や組織がそれぞれに備える「分散防衛（d/acc）」も論点になります。活動の場が宇宙に広がれば、誰がどのようなルールをつくるのかという問題も生じます。雇用や所得が大きく変わる場合には、ベーシック・インカムのような生活を支える仕組みが検討されるでしょう。

その一方で、物質的に豊かになった先で、何に生きがいを見いだすのかという問いも残ります。 私自身、毎朝「今日は何をやらないか」を決めています。選択肢を絞ると、自分が何を大切にして判断したいのかが見えてくるからです。

AIがもっともらしい答えを出すときにも、「その答えは何を前提としているのか」「誰にどんな影響が及ぶのか」「長い目で見ても受け入れられるのか」と問い直したいと思います。

歴史や哲学に触れ、自分とは異なる価値観を知ることも、こうした判断の助けになります。 変化が速いときほど、判断を急ぎ、少しずつAIに決定を委ねてしまいがちです。

だからこそ、重大な決断の前には立ち止まり、自分たちが見落としている可能性を考え、異なる意見にも耳を傾ける。そのうえで、何を選び、どの結果を引き受けるかを、自分たちで決めることが大切だと感じました。

FAQ

Q1：AIが「兵器を発明する兵器」になると、なぜ核抑止が崩壊するのですか？

A1：自律システムやサイバー攻撃、超高度な防衛・探知技術が人間を遥かに凌駕する速度で進歩すると、核の「確実な反撃能力（第二撃能力）」への信頼が揺らぎ、相互確証破壊（MAD）の前提が崩れてしまうためです。また、戦場や通信、意思決定の速度が人間の制御スピードを追い越すことで、偶発的な衝突やインフラの同時崩壊を防ぐ「戦略安定性」が根本から失われます。

Q2：「価値観の固定化（value lock-in）」とは何ですか？なぜそれが絶滅に等しい危険なのですか？

A2：ある特定の時代の価値観、制度、権力構造が、極度に高度なAGIの統治システムによって永久に上書き・固定化されてしまう現象のことです。これによって、未来の世代が自ら社会の欠陥を反省し、学び、より良い価値観を発見して制度を選び直すという「成長と自由の可能性」が永久に失われてしまうため、精神的・文化的・道徳的な「人類の死」を意味します。

Q3：「分散防衛（d/acc）」とはどのような思想ですか？なぜそれがAI時代に必要なのですか？

A3：中央集権的な規制や世界政府による上からの管理だけに頼るのではなく、サイバー空間（形式検証、出所証明）や物理空間（メタゲノム監視、バイオセキュリティ、分散インフラ）において「防御有利な技術」を分散的に社会へ組み込み、何が起きても壊れにくい「下からの防御力（レジリエンス）」を強化する思想です。AIの進化スピードが法規制を上回る時代において、社会のしなやかな生存（被害の最小化）を担保するために不可欠となります。

関連記事

【書評】超知能AIをつくれば人類は絶滅する（エリーザー・ユドコウスキー, ネイト・ソアレス）
本書は、世界を変える力を持つ知性が、人間の手に負えなくなる可能性を問います。人類は知性によって社会を築き、核兵器も作りました。人間を超える人工超知能（ASI）が、人間の価値観とずれた目標を追えば、人の安全を損なう手段を選ぶおそれがあります。AIが人間らしく応答しても、私たちと同じ価値観を持つとは限りません。AIの振る舞いをどこまで理解し、制御できるかを、経営や社会の判断に組み込むべきだと説きます。
→リンクはこちらから

【書評】知性の未来―脳はいかに進化し、AIは何を変えるのか―（マックス・ベネット）
『知性の未来 脳はいかに進化し、AIは何を変えるのか』は、脳の進化をたどり、人間の知性の成り立ちとAIの可能性を考える一冊です。AI企業を立ち上げたマックス・ベネットは、生命の歴史をさかのぼり、知性を形づくった五つの転機をひもときます。本記事では、AIやロボットが脳の働きをまねる際に直面する限界や、人が知識を持ち寄る「集合脳」に着目し、その違いが仕事や日常の判断にどんな示唆を与えるかを考えます。
→リンクはこちらから

【書評】ヒトとAI (岡野原大輔)
AIが選択肢を広げる時代に、何を選び、その結果に誰が責任を負うのでしょうか。岡野原大輔氏の『ヒトとAI』は、AIが人間の思考や判断を支援する時代の意思決定を問い直します。著者は、検討を打ち切り、実行に移す決断を引き受けることを「終わらせる特権」と呼びます。本記事では、「責任の空洞化」や「第2の言語層」、AI時代の教育を手がかりに、AIに任せることと人間が引き受けることを改めて考えます。
→リンクはこちらから