Episode cover
28 Jul 2026
2h 6m

148. 对游凯超3小时访谈:开源Infra、和模型Co-design 、“如果vLLM失败,我们会后悔一辈子”

Podcast cover

张小珺Jùn|商业访谈录

vLLM 从校园开源项目演变为商业化组织 Infract,标志着 AI 基础设施在模型推理领域的核心地位。学术界算法研究的边际效应递减,促使研究重心转向更具确定性和工业影响力的机器学习系统工程。vLLM 通过 PagedAttention 等技术解决了大模型推理的效率瓶颈,而将项目捐赠给 PyTorch 基金会并成立商业公司,旨在保障开源中立性的前提下,获得持续的资源支持与法律保障。模型结构与基础设施的深度协同(co-design)是提升推理效率的关键,DeepSeek 等模型在推理性能上的极致表现,正是算法与系统工程紧密协作的典型成果,这为 AI 基础设施的未来发展提供了重要范式。

Outlines

Sign in to continue reading, translating and more.

Open full episode in Podwise