11 Mar 2025

DeepSeek开源Day2：DeepEP代码走读！

ZOMI酱

本期节目深入探讨了 DeepSeek 开源项目第二天发布的 DeepEP 库。ZOMI 首先回顾了 DeepSeek 中 MOE 模型通讯的演变，特别是从基于 NCCL 等现有通讯库到直接利用 NVSHMEM 共享内存的转变，这使得通讯更加底层和高效。接着，ZOMI 详细介绍了 DeepEP 项目的代码结构和功能，包括其高吞吐量、低延迟的内核实现，以及对 NVLink 和 RDMA 网络的优化利用。更重要的是，ZOMI 对 DeepEP 的核心代码进行了代码走读，解释了节点间和节点内通讯的实现细节，例如数据分片、异步通讯、缓冲区管理和 FP8/BF16 数据转换等技术。通过对代码的解读，ZOMI 分析了 DeepEP 对大模型厂商、国产芯片厂商以及整个 AI 产业的影响，例如可能引发新的通讯标准的出现，加速 MOE 架构的普及，以及推动产业从规模驱动转向效率驱动。例如，DeepEP 对现有互联网中台的 KPI 造成冲击，同时也为厂商降本增效提供了新的途径。总而言之，DeepEP 的开源对 AI 领域的技术路线和产业格局都将产生深远的影响。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval