YouTube11 Feb 2025
3h 20m

91. 逐篇讲解DeepSeek关键9篇论文及创新点——“勇敢者的游戏”

Podcast cover

Zhang Xiaojun Podcast

DeepSeek 通过持续的技术创新与务实的科研风格,改写了全球大模型叙事。公司从早期的 DeepSeek LLM 开始,通过对 Scaling Law 的严谨研究,逐步探索出混合专家模型(MOE)与多头潜在注意力机制(MLA),显著降低了训练与推理成本。技术路线展现出高度的一致性与线性外推逻辑,尤其在推理领域,从早期的奖励模型尝试转向基于规则的强化学习(GRPO),实现了在有限算力下的性能突破。DeepSeek 坚持开源与技术透明,不仅在工程实现上通过 FP8 训练等手段实现降本增效,更通过 R1 等模型验证了大规模强化学习在提升模型推理能力上的潜力,展现出独特的学术实验室基因与技术底蕴。

Outlines

Sign in to continue reading, translating and more.

Open full episode in Podwise