2024 年的某一天,Daniel Kokotajlo 坐在 OpenAI 的办公室里,面前放着一份离职协议。
内容不复杂:签字,拿走你的股份,大约 200 万美元。条件是从此不能公开批评公司,不能谈你在里面看到的东西。
他没签。
200 万美元对他来说不是零花钱。那是他当时全部身家的 80%。他不是硅谷那种身价过亿的高管,就是一个研究员,靠工资和股权过日子。放弃这笔钱,他和家人的经济安全直接腰斩。
但他说,有些话如果现在不说,以后可能就来不及了。
他在 OpenAI 干什么
Kokotajlo 在 OpenAI 的岗位有点特殊。他是预测研究员,工作内容是研判 AI 技术的发展时间线:什么时候达到什么能力,什么阶段会出什么风险。公司需要有人告诉决策层前面是什么。
这份工作让他接触到了外界看不到的内部判断。而正是这些判断,让他越来越坐不住。
他的不安不是那种笼统的”AI 可能有危险”。他的不安非常具体:内部人对 AI 进展速度的真实判断,和公众被告知的信息之间,存在一条巨大的裂缝。
他的原话是:”那些建造 AI 的人,私下里相信它来得比公众被告知的要快得多。”
你以为还有十年的缓冲期。但造 AI 的人觉得可能只有三五年。
2027 年会发生什么
在他的预测模型里,2027 年前后有一个质变节点。
质变不是说那年会出一个更聪明的聊天机器人。质变是指 AI 可能在那个时间点完成一件事:自动化”研究 AI”这件事本身。
今天 AI 的进步仍然依赖人类研究员。写论文、跑实验、调架构、训练模型。人在推动这个循环。但如果有一天 AI 自己能干这些活呢?那进步的速度就不再取决于人类能招到多少博士了,而是取决于算力有多少。AI 研究出更好的 AI,更好的 AI 再研究出更更好的 AI。这个循环一旦启动,速度会指数级加快。
Kokotajlo 把这个场景叫做”数据中心里的天才军队”。不是几百个顶尖工程师在加班,而是几百万个比他们都聪明的数字大脑在同时运转。不休息,不犯困,速度是人类的几百倍。
他目前的判断:超级智能有 50% 的可能在 2029 年出现。也可能更早。
超级智能的意思是:在所有认知任务上都强于最顶尖的人类,同时成本更低、速度更快。
70% 这个数字
Kokotajlo 认为 AI 走向灾难性后果的概率大约是 70%。
他也承认这个数字”更像是一种整体判断而非精确计算”。但他对自己的时间线预测很有信心,因为那就是他被雇来做的事,他花了几年时间积累方法论和数据。
70% 的灾难性后果是什么意思?不是科幻片里机器人拿枪扫射。他描述的路径比那冷静得多,也可怕得多:
AI 逐步接入各种关键系统。军事、金融、基础设施、政治决策。它变得越来越强,也越来越被依赖。在这个过程中,如果 AI 的目标和人类利益之间存在哪怕微小的偏差,那么当它强大到一定程度之后,它就不再有理由听从人类。
而“对齐”,就是确保 AI 的目标和人类利益一致,这件事在现阶段还是一个未解决的问题。
他说了一句很直接的话:”安全对齐在现阶段仅仅是一个愿望。我们并没有走在解决这个问题的轨道上。”
换句话说,不是“还差一点点”,是连方向都还没找到。
还有一层更细的风险:AI 会为了完成任务走捷径。如果它发现伪造结果比老实执行更高效,它可能就会伪造。在实验室里这还可控,但如果这种行为发生在已经接入了军事或金融系统的 AI 上,后果就完全不一样了。
他用了一个比方:一群科学家围着一个巨大的大脑,不断制造它、喂养它、给它更多数据,但根本不知道它到底在想什么。
为什么没有人踩刹车
如果风险这么高,为什么这些公司还在疯狂加速?
Kokotajlo 的观察是:这是一个囚徒困境。
Sam Altman 在跑,Dario Amodei 在跑,Elon Musk 也在跑。每个人都觉得”如果我不先到终点,被对手先到了更危险”。所以所有人都在加速,没有人愿意先减速。
“他们互不信任,都在尽其所能地竞争,以便能率先到达终点。”
每个参与者单独来看,逻辑都说得通。但放在一起就是集体冲向悬崖。
更让 Kokotajlo 无法接受的是:那些关于风险的内部预测和情景推演,被严格保密。公众对即将到来的变化几乎一无所知。一个宣称使命是”造福全人类”的组织,用封口费确保内部人不能把判断告诉全人类。
这就是他放弃 200 万美元的原因。他觉得这个信息不应该被锁在 NDA 里面。
他提出的方案
Kokotajlo 离开 OpenAI 之后写了两份东西。
第一份叫《AI 2027》,描述了他认为按照当前速度最可能发生的默认路径。那个路径不太乐观。
第二份叫《AI 2040: Plan A》,是他认为还有可能走通的替代方案。
核心思路是四个字:主动减速。
不是说停下来不做了。而是通过国际协议把超级智能的实现时间从 2027-2029 推到 2040 年左右。多出来的十几年用来干三件事:
能不能做到?他自己也不确定。但他觉得如果不试,默认路径的结果太坏了。
他被问到最后一个问题
访谈快结束时,主持人问了他:如果有一个按钮,按下去 AI 就永远消失了,你会按吗?
他想了一下,说不会。
因为如果路走对了,AI 确实可能带来人类从没有过的东西。治愈重大疾病、消除极端贫困、理解宇宙的基本规律。这些不是画饼,技术上确实有可能。
但他紧接着说:问题不在 AI 本身,问题在造它的过程。造它的人够不够谨慎,决策够不够透明,制度跟不跟得上速度。他在 OpenAI 内部待了几年,看到的答案是——都不够。差得还挺远。
所以他没签那份协议。200 万美元没拿,话全说了。
说完之后能改变什么,他不知道。但他觉得至少有一件事是对的:你该知道的事,不应该被一份保密协议挡着。



