
本期科技早知道聚焦英伟达 GTC 大会,探讨 AI 推理层的新发展。主持人 Diane 在 GTC 现场,与推理公司 Eigen 的代表深入探讨了行业趋势与技术优化。Eigen 公司由 MIT 校友创立,致力于提升模型推理速度。对话中,双方分析了 Agent 爆发对 token 消耗的影响,以及开源模型在优化资源调度方面的潜力。Eigen 的代表详细阐述了 GPU、TPU 和 LPU 的区别,并分享了在 CUDA 层、模型效率和调度层面的优化策略。他们还讨论了不同用户场景下延迟、吞吐量和成本之间的权衡,以及开源模型在推动 AI 技术普及方面的潜力。
Sign in to continue reading, translating and more.
Continue