26 Feb 2025

KIMI Loooooooong超长序列核心技术MoBA，掌握核心大模型原理？

ZOMI酱

本期节目深入探讨了 KIMI 团队最新发布的 MoBA（Mixture of Block Attention）模型及其与 DeepSeek 的 NSA 模型的对比。首先，节目详细解读了 MoBA 模型的技术文章，解释了其核心思想：通过动态选择历史片段进行注意力机制计算，从而有效解决长序列处理问题。 MoBA 巧妙地将 Mixture of Experts (MOE) 架构引入 Attention 机制，并通过块分解和路由策略优化计算效率，实现了对现有 Transformer 架构的无缝替换。更重要的是，MoBA 在处理长序列时保持因果关系，避免了对未来信息的依赖。与之形成对比的是 DeepSeek 的 NSA 模型，它采用原生改进的注意力机制，直接从训练和推理层面进行优化，实现端到端处理长文本。然而，NSA 目前尚未开源，且高度依赖特定硬件，开发难度较大。 MoBA 则具有开源代码、易于集成和对硬件依赖性低的优势，这使得其在短期内更易于应用和推广。节目还通过在线测试演示了 MoBA 模型在处理长序列代码注释方面的强大能力。最后，节目对 MoBA 模型对大模型行业的影响进行了展望。随着 Visioning 模型的兴起，长序列处理成为大模型发展的关键瓶颈。 MoBA 以及类似的模型，例如 DeepSeek 的 NSA，仅仅是长序列优化领域的开端，未来可能会有更多创新的并行策略和软硬件协同优化方案出现。这将进一步推动大模型在长文本处理方面的能力提升，并促进相关技术的快速发展。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval