163: 详解DeepSeekV4：Infra巨鲸、百万上下文走进现实、极致效率优化

DeepSeek V4 通过一系列组合创新与工程优化，推动百万级上下文模型进入实用化阶段。该模型放弃了 V3 的 MLA 架构，转而采用混合注意力机制并引入 token-wise 压缩技术，显著降低了推理成本与 KV Cache 占用。在基础设施层面，DeepSeek 实现了 Muon 优化器、MHC 残差连接、FP4 量化训练及 Tailang 编译器的深度耦合，展现了极高的工程完成度。这种技术路线不仅验证了超大规模模型实现极致稀疏激活的可行性，也反映了 AI 行业从单纯追求参数规模向追求推理效率与长程推理能力的范式转变。通过训练端伪量化与采样端真实量化的结合，DeepSeek 进一步提升了强化学习链路的训练效率，为开源模型生态树立了新的技术标杆。