1. HotChips观察 - 内存技术与产业

AI 智能的瓶颈已从算力转向内存与存储，存储带宽直接决定了 Token 生成效率。随着 GPU 算力增长远超 HBM 带宽，内存墙问题在推理时代愈发凸显。内存厂商正通过 3D DRAM、定制化设计及光互联等技术，试图突破物理极限下的容量与带宽限制。HBM 的大宗商品属性正被削弱，取而代之的是针对特定模型需求的高度定制化方案。未来 AI 硬件的发展核心在于软硬协同的系统设计，通过优化记忆调用机制与存储层级，实现更高效的算力与存储平衡，从而重新构建 AI 大脑的运作模式。