Trending
Ask AI
Library
You
Sign in
Help
Toggle theme
SIGN IN
Prev
Next
Summary
Mindmap
Transcript
Keywords
Highlights
Shownotes
Trending
Ask AI
Library
You
Enjoy Podwise!
00:00
00:00
1x
10
10
Enjoy Podwise!
Detail
Transcript
使用昇腾NPU手撕MoE单机版代码!没想到如此简单! | ZOMI酱 | Podwise
Prev
Next
YouTube
11 Mar 2025
19m
使用昇腾NPU手撕MoE单机版代码!没想到如此简单!
ZOMI酱
YouTube
Play
Summary
Mindmap
Transcript
Keywords
Highlights
Shownotes
Sign in to access all AI-generated content
Continue
本期节目探讨了使用昇腾服务器实现 Mixture-of-Experts (MoE) 模型的代码实现。 ZOMI 酱首先介绍了单机单卡和单机 8 卡两种 MoE 代码实现方案,并指出单机 8 卡方案中,每张卡运行一个 MoE 专家模型。 随后,节目重点介绍了使用 Profiling 工具(如 MyStudio 或 NVinsight)分析 MoE 模型计算和通信耗时占比的方法。 更进一步,ZOMI 酱详细讲解了单机单卡 MoE 代码的实现过程,包括专家网络(一个简单的线性层网络)的定义、MoE 类(包含路由网络和专家集合)的构建,以及路由网络(由线性层和 softmax 层组成)的实现细节。 代码实现中包含了专家分配逻辑、容量限制、以及辅助损失函数(包括重要性损失和负载均衡损失)的计算,以确保模型的训练和推理效率。 最后,ZOMI 酱演示了如何在昇腾 NPU 上运行该代码,并展示了运行结果。 这期节目为听众提供了 MoE 模型代码实现的实践指导,并展示了如何在昇腾硬件平台上进行高效的 MoE 模型训练和推理。
Takeaways
Outlines
Q & A
Preview
How to Get Rich: Every Episode
Naval