19 Aug 2026
4m

参数不是唯一旋钮:智谱唐杰谈 GLM-5.3 与Scaling Law的演进

Podcast cover

AI智识录

智谱 GLM-5.3 在维持 753B 总参数与 40B 激活参数架构不变的情况下,通过后训练扩展实现了代码能力的显著跃升,揭示了 Scaling Law 的演进已从单纯堆叠参数转向多维度优化。模型演进经历了从 Kaplan 的 27:1 配比到 Chinchilla 的计算最优配比,再到如今由推理成本主导的过度训练阶段。总参数量主要决定知识容量,而激活参数与有效深度则决定因果推理的长度。GLM-5.3 的受控实验证明,在总参数达到足以装下世界的阈值后,通过强化学习和长时程环境等后训练 “旋钮” 进行扩展,比单纯增加参数更能稳定提升逻辑思考与推理能力。

Outlines

Sign in to continue reading, translating and more.

Open full episode in Podwise