EP121 - DeepSeek又投震撼彈！新提出的「mHC」架構會完全改變 AI 嗎？解讀這篇 CEO 親自挂帥的論文

本集科技浪由主持人哈利深入剖析 DeepSeek 最新論文 Manifold Constrained Hyper-Connections (mHC)，探討其如何優化 AI 模型。節目從神經網路的發展歷史談起，解釋殘差連接（Residual Connection）的重要性及其表徵崩潰問題。哈利詳細說明字節跳動提出的 Hyper-Connections 如何解決此問題，以及 DeepSeek 的 mHC 如何透過雙隨機矩陣進一步提升訓練穩定性和模型效能。實驗結果顯示，mHC 不僅在訓練過程中更穩定，且模型在多項基準測試中表現更佳，同時訓練成本增加有限，顯示其在經濟和學術上均具備巨大價值，預示著 AI 研究的未來方向。