江鋆晨: KV Cache，大模型记忆，清华姚班，CMU，教授，开源，视频流媒体

大模型推理效率的核心在于 KV Cache 管理，将其视为模型的 “记忆” 而非临时数据，是降低重复计算成本的关键。江鋆晨提出，AI 基础设施应借鉴互联网发展史，通过解耦推理引擎与存储，构建标准化的 KV Cache 层。从清华姚班到 CMU 再到创立 Tensormesh，这一路径强调了 “做最难的事” 以实现快速成长，并利用开源生态推动技术标准化。通过深入一线工程实践而非仅停留在理论研究，能更敏锐地捕捉行业痛点。这种将学术洞察转化为工业界基础设施的尝试，正试图解决大模型时代算力与存储供需失衡的挑战，为 AI 应用提供更经济高效的底层支撑。