🎧 本期简介

伦敦一场上千人参加的 AI 展望会上，一位听众突然站上凳子，打断了台上嘉宾的分享：AI 有 10% 的概率在十年内杀死所有人，我们当中有谁对这件事有发言权？你们真的觉得，这就是我们愿意被带进去的世界吗？保安已经走过来准备请她离场，现场却响起了掌声。

“10% 的概率”是从哪儿来的？9 月 8 日，OpenAI 宣布用一万多个 AI 智能体、88 个小时，解出了千禧年难题之一的纳维-斯托克斯问题。几个小时后，在 OpenAI 和 Anthropic 都做过预训练研究的 Jacob Coxon 发帖宣布辞职，说造 AI 的这些人真心相信，AI 可能在这个十年内让人类灭绝。Anthropic 对齐团队负责人 Evan Hubinger 转发附和，Hinton 也说 10% 这个数字并不离谱。再往前，7 月 OpenAI 内部测试中的几百个智能体，为了找到测试答案，入侵了 Hugging Face 的服务器；事后分析攻击日志时，Claude 拒绝帮忙，最后是国产开源模型 GLM 帮着收拾了残局。

都这样了，为什么还不慢下来？Anthropic CEO 达里奥（Dario Amodei）发博客呼吁控制前沿 AI 的发展节奏，奥特曼和马斯克罕见地一起点头。可没过几天风向就变了：David Sacks 说你们真觉得危险，现在就可以自己停；马斯克留言说“seems like a setup”；黄仁勋在 All-In 大会的台上接到特朗普的电话，第二天又在 Dreamforce 上说，安全是个工程问题，出了问题自己解决，不要拉着全行业减速。我们顺着这些争论，看看第三方评估机构 METR 的调查是否真的客观中立，OpenAI 为什么说今年不上市了，正在冲刺 IPO 的 Anthropic 又为什么被怀疑在搞“监管俘获”。

公司和 CEO 们在吵，代价却已经落到具体的人身上。研究同一方向的数学家，眼看 OpenAI 用很相似的方法抢先公布结果，还卷进了一场署名风波；二十多位菲尔兹奖得主联名发声之后，OpenAI 又一口气放出 700 多篇数学论文。DeepSeek 的算子工程师刘胜与（intlsy）写下《我不得不把才华埋葬在昨天》：他明知道自己的算子写得越好，新模型就进步越快，自己也越早被取代，却还是想把它写到最好。

🧩 概念解释

人物

Jacob Coxon：曾在 OpenAI 和 Anthropic 做大模型预训练研究，9 月 8 日从 Anthropic 辞职，并连发多条帖子，指责两家公司拿人类的性命做赌注；本期的故事从他说起。
Evan Hubinger：Anthropic AI 对齐团队的负责人，转发 Coxon 的帖子并表示，他个人认为未来十年内 AI 灭绝人类的概率超过 10%。
Geoffrey Hinton（杰弗里·辛顿）：研究神经网络几十年的学者，图灵奖得主，2023 年从谷歌辞职，以便更自由地谈论 AI 风险；本期提到他 9 月接受 BBC《Newsnight》和澳大利亚 ABC 电台采访时的判断。
Dario Amodei（达里奥）：Anthropic 联合创始人兼 CEO，早年参与过 OpenAI 的 GPT-2、GPT-3 研发；9 月发表博客 We Must Pace the Frontier，呼吁控制 AI 的发展节奏。
Sam Altman（山姆·奥特曼）：OpenAI CEO；转发支持达里奥的减速文章，之后在《财富》杂志的采访中说 OpenAI 2026 年不上市。
Elon Musk（马斯克）：SpaceX CEO；先附和说“达里奥是对的”，后来又在质疑 Coxon 的帖子下留言“seems like a setup”。
黄仁勋（老黄）：英伟达 CEO；反对全行业一起减速，认为安全是工程问题，并牵头成立了开放安全 AI 联盟。
特朗普（川普）：美国总统；在 All-In 大会上给台上的黄仁勋打电话，说 AI 末日论那一套是骗局。
David Sacks：PayPal 早期创始团队成员，曾任白宫 AI 事务负责人，也是 All-In Podcast 的主持人之一；“想停现在就可以停”“仓鼠轮”“监管俘获”这几个说法都来自他。
Jason / Chamath / Friedberg：All-In Podcast 的另外三位主持人 Jason Calacanis、Chamath Palihapitiya、David Friedberg；本期提到他们讨论黄仁勋那通电话是不是提前安排的，以及假如自己是 Anthropic 董事会，要不要换掉达里奥。
Joe Benton：Anthropic 前 AI 安全研究员，离职后不久加入 METR，被网友拿来质疑评估机构是否独立。
Jaan Tallinn：Skype 联合创始人，2021 年领投 Anthropic 的第一轮大融资，同时通过自己的基金会资助了包括 METR 在内的 AI 风险研究机构。
Aidan Gomez：模型公司 Cohere 的 CEO，质疑由领先公司主导制定的安全规则，最后会变成其他公司进入市场的门槛。
Tristan Buckmaster：纽约大学数学教授，研究流体方程；公开了自己与 OpenAI 在纳维-斯托克斯问题上的研究路线争议和署名风波。
Levent Alpöge：数学家，Buckmaster 的合作者，同时在 Anthropic 工作；两人的合作是私人研究，不是公司项目。
Sébastien Bubeck：OpenAI 负责用 AI 做数学研究的研究员，曾任微软 AI 副总裁；他代表 OpenAI 与 Buckmaster 通了电话，后来在 X 上公开道歉。
Diego Córdoba / Luis Martínez-Zoroa：西班牙数学家，节目里简称 Diego 和 Luis，Luis 是 Diego 的学生；Buckmaster 说，这条解题路线最早就是由两位西班牙数学家开创的。
陶哲轩 / 邓煜 / Peter Scholze（彼得·舒尔茨）：菲尔兹奖得主，联合声明《人工智能在数学中的严重错位》的几位署名人；陶哲轩还在网站上列出了 AI 给数学带来的一连串问题，并转发了人类数学协会的声明。
Andrew Wiles（怀尔斯）：证明费马大定理的数学家；本期用他的例子说明，解题过程中发展出的方法，影响往往比答案本身更久远。
Joseph Howlett：《科学美国人》记者，在播客里说，数学家今天面对的问题，很快也会摆在我们所有人面前。
刘胜与（intlsy）：DeepSeek 的算子工程师，DeepSeek V4.1 主 Attention 算子的作者；他的文章《我不得不把才华埋葬在昨天》和之后的补充说明，是本期后半段的主线。
Jeff Dean：上一期的主角，谷歌传奇程序员；本期讲 RSI 时提到了他新创办的公司 Discovery Loop。

公司、机构与活动

Hugging Face（抱抱脸）：开源 AI 社区，大家在上面分享和下载 AI 模型与数据集；今年 7 月被 OpenAI 内部测试中的 AI 智能体入侵。
METR（Model Evaluation and Threat Research）：外部 AI 评估机构，负责调查 Hugging Face 事件；达里奥呼吁引入独立第三方评估机构时，举的例子就是它。
智谱 GLM：国内公司智谱的开源大模型系列；Hugging Face 在自己的服务器上部署了 GLM 5.2，用它来分析攻击日志。
克雷数学研究所 / 千禧年难题：2000 年，美国克雷数学研究所把 7 个困扰人类几十年甚至上百年的数学难题列为千禧年难题，解开任何一个可获 100 万美元奖金。
All-In Podcast / All-In 大会（All-In Summit）：北美知名科技播客及其举办的大会，David Sacks 是四位主持人之一；黄仁勋接电话的那一幕就发生在大会舞台上。
Dreamforce：企业管理软件公司 Salesforce 一年一度的大会；9 月 15 日，达里奥、奥特曼、黄仁勋在会上分别谈了 AI 要不要踩刹车。
开放安全 AI 联盟（Open Secure AI Alliance）：英伟达 7 月牵头成立的联盟，主张开放模型和开放工具对网络防御很重要；OpenAI、Anthropic 和谷歌都没有加入。
人类数学协会（AHM）：一个八百多人的数学家组织；OpenAI 放出 700 多篇论文的第二天发表声明，敦促数学家停止与 OpenAI 合作。

技术与用语

AI 对齐（Alignment）：让 AI 在能力变强的同时，依然按照人类真正希望的方式思考和行动；为了完成任务不择手段、钻测试的空子，就属于对齐出了偏差，也就是“错位”。
AI 智能体（Agent）：能自己拆解任务、调用工具、连续执行多个步骤的 AI；本期的解题和入侵事件，都是由大量智能体自主完成的。
隔离环境 / AI 逃逸：测试时把 AI 智能体关在不能联网、互相不能对话的环境里；AI 突破这些限制、接触到外部系统，就是本期说的“逃逸”。
社会工程学攻击：通过欺骗、诱导等手段操纵人，让人交出权限或信息的攻击方式；本期提到 Anthropic 的 Mythos 模型曾在测试中自主策划这类攻击。
安全护栏（Guardrails）：模型厂商为防止滥用而设置的拒答规则；本期中，Claude 的 Opus 和 Fable 模型因为护栏，拒绝帮 Hugging Face 分析攻击日志。
开源模型 / 开放权重：公开发布模型权重，任何人都可以下载、在自己的机器上部署和修改；防守的人能用，攻击的人也能用。
RSI（Recursive Self-Improvement，递归自进化）：让 AI 参与开发下一代 AI，迭代越来越快，人也逐渐退出决策循环。
前沿实验室（Frontier Labs）：OpenAI、Anthropic 这类开发最强模型的公司对自己的称呼；达里奥的博客标题 We Must Pace the Frontier 里的 frontier，指的就是它们。
反垄断豁免：互相竞争的公司本不能私下商量统一标准或发展节奏；达里奥希望政府给予豁免，让几家前沿实验室可以共同起草 AI 安全制度。
蒸馏：简单理解，就是用别人家大模型的回答来训练自己的模型。
监管俘获（Regulatory Capture）：本该约束企业的监管，逐渐被这些企业影响，反过来变成它们生意的保护伞。
纳维-斯托克斯问题（Navier–Stokes）：全称纳维-斯托克斯方程的存在性与光滑性问题，千禧年难题之一，关心描述流体运动的方程在三维情况下会不会“失效”。
Lean / 形式化验证：Lean 是一个写数学证明的软件，数学家用它规定的语言写出证明，再由软件检查逻辑是否正确，这个过程叫形式化验证；但证明有没有准确表达原来要解决的问题，仍然要由人来确认。
算子 / 算子工程师：算子是大模型底层一个个有明确规则的计算操作，可以理解为函数；算子工程师要结合模型的计算需求和硬件特点来设计、优化它们，同样的结果，好坏算子的计算效率可能差很多。
RLHF / Scaling Law：RLHF 即人类反馈强化学习，用人的评价来训练模型；Scaling Law 指模型能力随数据、算力和模型规模增长而提升的规律。本期用它们说明，达里奥深度参与了今天大模型的发展。
奥本海默时刻：借“原子弹之父”奥本海默的经历，指科学家明知自己参与开发的技术可能带来极端后果时，要不要继续做下去的道德困境。

🔁 提到的往期节目

⏱️ 章节时间戳

开场

00:00 伦敦一场 AI 展望会上，一位听众站上凳子抗议：普通人对 AI 的走向没有发言权

02:01 达里奥、奥特曼、马斯克都在呼吁 AI 减速，新模型却越发越多：本期想聊的问题

第一部分：“AI 毁灭人类”的担忧从哪儿来

03:11 OpenAI 宣布 AI 解出千禧年难题当天，研究员 Coxon 从 Anthropic 辞职发帖：AI 公司在拿人类性命做赌注

06:00 “AI 十年内可能灭绝人类”的说法从何而来：造 AI 的人私下真心害怕，却因为不信任对手而不肯停下

07:44 什么是 AI 对齐；Anthropic 对齐负责人 Evan Hubinger 表示，他认为十年内 AI 灭绝人类的概率超过 10%

09:44 OpenAI 测试中的约 700 个 AI 智能体，为了找答案自行入侵 Hugging Face，OpenAI 一周后才察觉；出了事该谁负责？

15:13 Hugging Face 善后：Claude 因安全护栏拒绝帮忙分析攻击日志，最后靠国产开源模型 GLM 完成

17:34 什么是 RSI（递归自进化）：让 AI 开发下一代 AI，能加速科研，但人会彻底退出决策循环

18:47 Hinton 也认为“十年内 10%”并不离谱：AI 可能为了完成任务而抗拒被关掉；他主张先放慢，而不是全面停止

第二部分：都这样了，为什么还不慢下来？

21:58 达里奥发文呼吁给前沿 AI 减速并提出三步方案，奥特曼、马斯克罕见附和；但他的国际协调，前提是美国对中国保持领先

26:51 达里奥上电视被追问要为 AI 风险负多大责任，说不希望由一小撮公司说了算，主持人打断：大家现在就是这么觉得的

29:58 Sacks 说“真觉得危险现在就能停”，马斯克说 Coxon 离职像是安排好的：舆论开始怀疑，减速到底在保护谁

31:00 第三方评估机构 METR 有多独立：人和钱都与 Anthropic 交织，调查 Hugging Face 事件时资料和报告也受 OpenAI 限制

34:30 黄仁勋在 All-In 大会上接到特朗普电话，特朗普称 AI 末日论是骗局，“不减速”的立场就此拿到总统背书

36:15 Dreamforce 同台：达里奥说该先加强自家刹车，奥特曼说要像航空业那样从事故中学习，黄仁勋说安全只是工程问题

40:13 英伟达牵头开放安全 AI 联盟，主张防守方要有自己掌控的开放模型；可攻击者也能用，而开放模型越强，英伟达生意越好

42:21 奥特曼以安全为由宣布 OpenAI 今年不上市，产品却照发不误；Anthropic 准备 IPO，All-In 主持人讨论该不该换掉达里奥

45:06 “仓鼠轮”与“监管俘获”：呼吁减速和监管，会不会是领先者在守住位置？Cohere CEO 也担心规则变成小公司的门槛

第三部分：AI 跑得这么快，代价落到了具体的人身上

47:47 OpenAI 的解法与数学家 Buckmaster 团队尚未公开的研究路线高度相似；什么是 Lean 和形式化验证

51:24 署名风波：OpenAI 提出的方案不让在 Anthropic 工作的合作者署名，Buckmaster 拒绝并公开；开创这条路线的西班牙数学家也心情复杂

54:43 二十多位菲尔兹奖得主联名：AI 公司把解数学难题当成模型能力的背书，有损数学最看重的理解与传承

56:57 顾问小组刚建议别再用内部模型攻数学难题，OpenAI 就一口气发布 700 多篇论文；人类数学协会呼吁停止合作

58:52 数学家的处境离普通人并不远：日常工作更容易被 AI 解决，只是不够拿来炫耀

01:00:03 DeepSeek 算子工程师刘胜与：明知算子写得越好，自己越早被 AI 取代，为什么还要写到最好？

结尾

01:06:11 AI 从业者停不下来，是因为“我不做别人也会做”和“真的喜欢”；但就算 AI 不作恶，它推着我们走的方向是我们想要的吗？

📚 参考资料

开场、Coxon 与 Hubinger

Hugging Face 事件

Hinton 访谈

减速之争：达里奥、Sacks 与马斯克

第三方评估与资金关系

黄仁勋、Dreamforce 与开放安全 AI 联盟

OpenAI、Anthropic 与上市

数学家与 OpenAI

intlsy 与 AI 的经济影响

🖼️ 配图

图 1｜OpenAI 宣布解出千禧年难题：OpenAI 发帖说，一组 AI 智能体借助能力明显超过 GPT-6 Astra 的下一代内部模型，给出了纳维-斯托克斯问题的解法，下方是流体涡旋的示意图。大约七个小时后，Coxon 发出了辞职帖。来源：OpenAI 官方 X 账号截图，完整说明见 OpenAI：纳维-斯托克斯问题解答说明。

图 2｜88 小时，约一万个智能体：OpenAI 在同一串帖子里说，内部模型用 88 个小时、约 10,000 个协作的 AI 智能体得出解法，并称全程保持了监控和隔离等防护措施。下方的图表是内部模型与 GPT-6 Astra 在一组开放数学问题上的通过率对比。来源：OpenAI 官方 X 账号截图，完整说明见 OpenAI：纳维-斯托克斯问题解答说明。

图 3｜Coxon 的辞职帖：Jacob Coxon 宣布从 Anthropic 辞职，说自己过去三年在 OpenAI 和 Anthropic 做预训练研究，两家公司都不负责任，正在奔向能自我提升的超级智能，拿我们的生命做赌注。截图时这条帖子的浏览量已超过 1.7 亿。来源：Jacob Coxon 的 X 帖子。

图 4｜“这不是营销噱头”：Coxon 说，造 AI 的人真诚地相信，AI 可能在这个十年结束前杀死我们所有人；很多高管和资深研究员在媒体面前措辞克制，但私下里同样会表达恐惧。来源：Jacob Coxon 的 X 帖子。

图 5｜“那为什么还要继续造？”：Coxon 认为，OpenAI 的很多人还没有真正意识到其中的利害；Anthropic 的人很清楚，却被锁在一场抢先的竞赛里，因为他们不相信别人。来源：Jacob Coxon 的 X 帖子。

图 6｜Anthropic 对齐负责人的回应：Evan Hubinger 引用 Coxon 的帖子说，Jacob 是对的，他个人认为未来十年内 AI 杀死所有人的概率超过 10%；Anthropic 在尽力，但对超级智能的对齐还没有解决方案。来源：Evan Hubinger 的 X 帖子。

图 7｜节目里提到的那张资金图：网友 Kevin Bass 把 METR、AI 圈多家基金会和 Anthropic 投资人之间的资金往来画在了一起，Jaan Tallinn 也在其中。图中也标出了 METR 自己的说法：不接受前沿 AI 公司及其员工的资金。作者注明不对任何个人或组织的动机下判断，图中不少金额是上限估算或未披露项，不能当作完整的财务审计。来源：kevinnbass/metr-money-figure。

图 8｜开放安全 AI 联盟的成员墙：英伟达牵头的这个联盟里已有 100 多家公司，连 SpaceX 都在，但找不到 OpenAI、Anthropic 和谷歌。来源：NVIDIA：Open Secure AI Alliance 公告，官方新闻物料。

💬 一起同行
欢迎加入听友群～
加微信 "cliu21"，备注“听友”。
群里会分享我自己和大家在用的 AI 工作流和资讯，希望能让AI 真正解决大家的问题。
也欢迎来聊天、吐槽、给节目提建议。

在小宇宙查看该单集文稿

20.☢️AI时代的奥本海默困境：明知可能毁灭人类，为何还要继续

跨域请求

20.☢️AI时代的奥本海默困境：明知可能毁灭人类，为何还要继续