MOE奠基论文走读，Adaptive Mixtures of Local Experts！

本期播客是关于混合专家模型（MOE）算法解读系列的第三部分，主讲人 ZOMI 深入讲解了 1991 年 Jordan 和 Hilton 发表的经典论文 “Adaptive Mixtures of Local Experts”。 ZOMI 详细分析了论文的核心思想，即通过将复杂问题分解成多个子任务，并由多个专家网络分别处理，最终通过门控网络整合结果来提升模型效果。 播客重点解释了论文中提出的损失函数修改方法，如何将专家网络间的合作关系转变为竞争关系，从而提高模型的学习效率和准确性，并对论文中提出的模型架构和改进后的损失函数进行了详细的推导和解释，最后还提供了相关的学习资料下载链接。