11 Mar 2025

MOE经典论文ST-MOE和GLaM，如何解决MOE训练稳定性问题！

ZOMI酱

本期节目探讨了混合专家模型 (MOE) 的相关论文，特别是 2021 年 GLaM 和 STMOE 两篇论文。在 Transformer 时代和 GPT 时代兴起的背景下，节目首先回顾了 MOE 架构的发展历程，从 Hinton 早期的工作到谷歌的 RNN 时代以及 Transformer Encoder-Decoder 时代的三篇重要论文 (GShard, Switch Transformer, STMOE)。更重要的是，节目深入解读了 STMOE 论文，该论文旨在解决大规模 MOE 模型训练不稳定性和迁移学习问题。STMOE 通过提出一种新的路由损失函数 (ZLoss)，结合其他损失函数 (LCE, LB)，以及改进模型架构 (例如，使用 GELU 代替 RELU，RMSNorm 代替 LayerNorm)，有效提升了模型训练的稳定性。此外，STMOE 还探讨了低精度训练 (例如，使用 BF16 或 FP8) 的优势，以及模型规模和超参数对性能的影响。随后，节目简要介绍了 GLaM 论文，该论文主要基于 GPT-3 的 Decoder-only 架构，并通过大量的实验验证了其在不同领域的有效性。总而言之，这两篇论文代表了在 Transformer 时代和 GPT 时代，MOE 架构在提升模型规模和训练稳定性方面的重要进展，为大规模语言模型的发展提供了新的方向。这也反映了当前大模型发展中对模型稳定性和高效训练的重视。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval