现在，把这张清单和另一张清单放在一起：制造灭绝风险需要什么？
大推力核动力。合成生物。自主人工智能。高能量密度系统。权力的空前集中。
几乎是同一张纸。
人类要搭的逃生梯，是用制造火药的同一双手做的。

这就是现代文明最令人不安的结构：解药和毒药，装在同一个瓶子里。而且解药的研发进度，天然落后于毒药——因为威力总是先落地，安全边界、法律制度、国际合作、风险预警，都要更晚才能跟上。

于是文明可能进入一种奇怪的状态：
威力已经到手，控制能力却还在施工。
学界给这段窗口起过一个名字，叫“危险期”。说得更直白些：人类必须徒手攀过一道死亡峡谷，才能抵达峡谷另一侧的安全地带。峰顶不是别处，正是施工期本身——船还没有下水，逃生通道尚未贯通，而船上用的每一块钢板，都来自兵工厂的同一批熔炉。

而峡谷的另一侧，也不是天堂。
多行星化买到的是“物种不死”的保险，不是“人人不死”的保险。火星基地建成的那天，地球上一场战争依旧可以杀死数十亿人——只是再也杀不“光”了。就像蓝藻遍布海洋之后，任何一片海域的兴衰都不再是终局，但每一片海域里的兴衰，依然真实地发生着。

所以，统治的门票是实力。
续期的门票，是运气加算术。
而永不下桌的门票——
是用造武器的工艺，去造船。

四、人工智能：加速器，而不是预言中的恶魔
人工智能尤其特殊。
因为过去的工具，大多放大某一种能力。
机器放大肌肉。
计算机放大计算。
互联网放大通信。
而人工智能正在尝试放大另一种东西：认知能力本身。它是制造工具的工具，放大能力的能力。

它可以帮助人类寻找药物候选物，模拟复杂系统，加速科学发现，优化工程设计；同样也可以加速武器设计、合成危险病原体、操纵信息传播、寻找系统的致命漏洞。
它不自己创造风险，也不自己创造生路。

它只是把人类的每一个决策、每一次试错，都放大了量级，压缩了反应时间。它让那道死亡峡谷变得更加陡峭——不是因为峡谷变宽了，而是因为攀爬的斜率本身被加速了。
所以，真正值得警惕的并不是“AI突然产生邪恶念头”这种简单的故事。

更现实的问题是：
人类会把多少决策权交给它？目标是谁设定的？权限是谁给予的？它能调用什么工具，访问什么系统，行动到什么程度？出了错误以后，谁能够停止它？
这些问题比“AI到底有没有灵魂”更加迫切。

因为一个系统即使没有人类意义上的欲望，也可能在错误的目标、过大的权限或者糟糕的激励机制下，造成巨大的后果。
AI不一定需要“想毁灭人类”，才能产生危险。

有时候，只需要：人类给了它一个错误的目标，又给了它太大的行动空间。
因此，人工智能真正改变的，也许不是骰子的主人，而是骰子的转速。
它不会自己掷骰子——它只是让骰子转得更快、更难看清、容错窗口更窄。

过去一个错误的决定，可能毁掉一座工厂。
未来某些错误的决定，可能影响一个行业、一个社会系统，甚至更大的范围。
而回看历史，距离终局最近的那几次，跨越点从来不在武器上，而在于人。

1962年，古巴导弹危机，一艘携带核鱼雷的苏联潜艇被美军深水炸弹逼到极限，潜艇里高温缺氧，军官们以为战争已经爆发，有人主张发射——副艇长阿尔希波夫说了不。

1983年，苏联预警系统判定“美国导弹来袭”，值班军官彼得罗夫面对屏幕上五枚导弹的红灯，选择不去上报，而是赌这是一次计算机故障。他赌对了。

人类离终局最近的那两次，骰子都转到了最后，然后停在一个疲惫的人选择再核实一遍的那一念之间。
未来，这样的一念之间，会越来越少，越来越快。
这才是AI时代真正的危险所在。