
本期科技早知道聚焦英伟达 GTC 大会,探讨 AI 推理层面的最新进展。Diane 在 GTC 现场采访了推理公司 Eigen 的代表,深入解析了 GPU、LPU 和 TPU 三种芯片架构的区别与优化方向,指出 LPU 是英伟达未来的重要优化方向。Eigen 的代表分享了 Agent 爆发给行业带来的启发,强调开源模型在资源调度和优化方面的新商业空间。他们还讨论了推理速度、token 优化以及不同硬件选择对 AI 应用的影响,并分析了当前行业内大、中、小厂在推理速度上的优化策略。此外,还探讨了开源模型与闭源模型在 AGI 领域的竞争,以及 Open Cloud 对开源模型公司带来的机遇。
Sign in to continue reading, translating and more.
Continue