03 Mar 2025

【人工智能】DeepSeek开源周六天内容全盘点 | FlashMLA | DeepEP | DeepGEMM | DualPipe | EPLB | 3FS文件系统 | V3/R1成本大揭秘

最佳拍档

本期节目探讨了 DeepSeek 上周开源的多个 AI 项目。首先介绍了 FlashMLA，一个针对英伟达 Hopper GPU 优化的多头潜在注意力解码内核，它通过借鉴 FlashAttention 和 Catalast 项目的优势，显著提升了大模型的推理效率，尤其在 H800 GPU 上表现出色。接着，节目介绍了 DeepEP，一个为混合专家系统定制的通信库，它基于 DeepSeek V3 论文中的群组限制门控算法，能够动态调节 GPU 资源利用率，并支持 NVLink 和 RDMA，极大提升了 MOE 模型的性能。随后，DeepGEMM，一个用于高效 IP8 通用矩阵乘法的库，通过两步法降低计算和内存开销，并利用 JIT 编译技术实现更高的适应性和效率，也得到了介绍。更重要的是，节目还深入分析了 DualPipe 和 EPLB 这两项 AI 训练加速技术，它们能够显著降低训练成本和时间，并最终揭秘了 DeepSeek V3 和 R1 系统背后的秘密，包括其 545% 的成本利润率以及详细的系统架构和资源调度策略。最后，节目还介绍了 3FS 文件系统和 SmallPond 数据处理框架，它们通过分布式架构和高效的数据管理技术，极大提升了数据读取和处理速度。总而言之，DeepSeek 此次开源展现了其在 AI 模型优化和工程实现方面的深厚实力，为 AI 领域的发展提供了宝贵的资源和经验。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval