11 Mar 2025

使用昇腾NPU手撕MoE单机版代码！没想到如此简单！

ZOMI酱

本期节目探讨了使用昇腾服务器实现 Mixture-of-Experts (MoE) 模型的代码实现。 ZOMI 酱首先介绍了单机单卡和单机 8 卡两种 MoE 代码实现方案，并指出单机 8 卡方案中，每张卡运行一个 MoE 专家模型。随后，节目重点介绍了使用 Profiling 工具（如 MyStudio 或 NVinsight）分析 MoE 模型计算和通信耗时占比的方法。更进一步，ZOMI 酱详细讲解了单机单卡 MoE 代码的实现过程，包括专家网络（一个简单的线性层网络）的定义、MoE 类（包含路由网络和专家集合）的构建，以及路由网络（由线性层和 softmax 层组成）的实现细节。代码实现中包含了专家分配逻辑、容量限制、以及辅助损失函数（包括重要性损失和负载均衡损失）的计算，以确保模型的训练和推理效率。最后，ZOMI 酱演示了如何在昇腾 NPU 上运行该代码，并展示了运行结果。这期节目为听众提供了 MoE 模型代码实现的实践指导，并展示了如何在昇腾硬件平台上进行高效的 MoE 模型训练和推理。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval