94. 逐篇讲解DeepSeek、Kimi、MiniMax注意力机制新论文——“硬件上的暴力美学”

张小珺Jùn｜商业访谈录

本期播客访谈 MIT 博士生杨松琳，解读 DeepSeek、Kimi 和 MiniMax 三家公司近期发布的关于注意力机制改进的论文。访谈首先介绍了注意力机制的概念和重要性，然后深入分析了三篇论文的技术细节，特别是 DeepSeek 提出的 Native Sparse Attention，该方法在长文本处理上展现出优于 Full Attention 的性能，并在训练和推理阶段都实现了高效性。最后，讨论了不同公司在技术哲学和优化目标上的差异，以及未来注意力机制优化可能的方向。通过对论文的解读，听众可以了解 AI 大模型领域最新的技术进展和不同公司背后的技术路线选择。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval