主播的话

你的 Transformer 模型，是不是有一半的计算量都在“摸鱼”？

当所有人都在卷 SFT的时候，为什么硅谷的前沿研究者们却开始担心“模式坍缩”，转而把目光投向了 RLVR？

这期节目，我们没请 CEO，也没请投资人，而是拉来了一位最近在硅谷“跑会”跑到腿软的硬核朋友——俊帆。作为自动驾驶领域的 AI Engineer，他在短短两个月里，密集扫荡了 Pytorch Conference、Ray Summit、AMD Dev Day 甚至各类 Hackathon（还抽中了一块显卡！）。

我们把他在这些活动上听到的“内部噪音”和“前沿信号”做了一次深度 Dump。你会在节目里听到：

斯坦福大佬 Christopher Manning 是如何通过“残差流抹除”实验，发现 Transformer 架构其实非常浪费的；
为什么现在大家都说“Post-training”才是决胜局，以及 Thinking Machine 实验室是如何用轻量级的 LoRA 就能跑出逼近 97% 的 RL 效果；
还有字节、Google 在Infra层面上为了解决万卡训练和 Agent 显存焦虑做的“变态”优化。

如果你是正在死磕模型效果的算法工程师，或者是对 AI 技术栈演进好奇的产品人，这期“硅谷前线观察报告”绝对能帮你省下几千美金的门票钱。

戴上耳机，我们一起去湾区现场看看。

嘉宾：

朱俊帆：芝加哥大学金融数学和佐治亚理工学院计算机科学毕业，曾在自动驾驶公司从事 AI Agent 和强化学习的研发工作；在芝加哥做了几年投行的量化金融模型。

欢迎查看嘉宾的 LinkedIn 了解更多信息

主播：

Leo：硅谷大厂高级机器学习工程师，GenAI LLM发烧友

本期重点

00:47 嘉宾介绍
02:01 嘉宾的“特种兵”行程单：从 PyTorch Conf 到 AMD Dev Day
05:43 斯坦福教授的新发现：Transformer 后半部分的计算量，其实都被“浪费”了？
07:20 混合专家模型 (MoE) 的进化：如何用一半的计算量超越 Benchmark
12:40 硅谷热词 RLVR：当数学定理成为“裁判”，RLHF 还有必要吗？
15:57 像人类一样思考：解决长程推理难题的“分层推理”策略
19:40 过度 SFT 会导致“模式坍缩”？聊聊 Post-training 时代的 Trade-off
22:06 创业公司福音：只用 LoRA 也能逼近 97% 的全量 RL 效果
25:00 显存不够怎么办？Red Hat 提出的“睡眠模式”与 GPU 热交换黑科技
28:53 字节跳动 VERL 揭秘：如何搞定万卡集群上的 RL 混合编排？
34:06 Google 的 Agentic Browser：不只是看网页，而是直接运行代码
37:17 当 AI 遇见 NBA：从预测比赛到生物制药，Agent 的落地场景猜想

以上就是本期的全部内容了，欢迎您的收听，我们下期再见～

PS：AI Odyssey 听友群正式开通了，添加 vx：aiodysseyai 带你一起看 AI。

对话朱俊帆 | 硅谷跑会实录：听到了哪些 Paper 没写的“内部噪音”？

AI Odyssey