23 Feb 2025

MoE架构的前世今生，MoE经典论文串烧和MoE可视化！

ZOMI酱

本期播客节目中，ZOMI 详细介绍了 MoE（混合专家）架构的历史和发展。内容涵盖了 MoE 架构的总览、从 90 年代初期电机工作到大模型时代的演进历程，以及 MoE 在自然语言处理、计算机视觉、多模态和推荐系统等领域的应用。ZOMI 还解释了 MoE 架构的核心概念，如专家数量、门控网络，以及稠密 MoE 和稀疏 MoE 的区别。此外，还讨论了 MoE 与 Transformer 架构的结合，并以 Mistron 7x8B 为例，可视化地展示了 MoE 架构的运作方式，包括负载均衡和专家在不同主题和 token 处理上的差异。最后，ZOMI 总结了 MoE 架构通过稀疏激活和条件计算提升大规模并行能力的核心价值，并展望了其在未来大模型场景中的应用前景。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval