19 Feb 2025

DeepSeek MoE把价格打下来核心原因？看MoE架构剖析！

ZOMI酱

ZOMI 在这期视频中深入探讨了 DeepSeek 采用 MoE 混合专家架构的原因，并计划通过一系列视频详细介绍 MoE 的基础知识、发展简史、对训练的影响以及其如何降低训练和推理成本。内容包括 MoE 的核心组成部分、训练和推理的挑战、以及近期采用 MoE 架构的大模型案例，例如 DeepSeek 和 Mistral。ZOMI 还会解读相关论文，分析 MoE 的架构原理，并计划进行代码演示，最后探讨 MoE 在多模态领域的应用。此外，还讨论了专家数量对训练的影响，以及稠密模型与稀疏模型的选择，强调了解 MoE 架构的优势，如高效推理和模块化专家，以及专家并行和 Auto 通讯在提升效率中的作用。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval