#356.AI硬件的未来：英伟达首席科学家Bill Dally的深度洞察

本次座谈会邀请了英伟达首席科学家 Bill Dally 分享深度学习硬件的最新趋势。Bill 首先介绍了深度学习对人类体验的提升，并以英伟达多伦多 AI 实验室开发的 inti 系统为例，展示了生成式 AI 的应用。他回顾了深度学习发展的三个要素：算法、数据和硬件，并强调了硬件在深度学习革命中的关键作用。Bill 详细阐述了 GPU 在 AI 推理性能上的提升，以及数值表示、复杂指令等技术对性能的贡献。他还提到了并行计算在训练顶尖模型中的应用，以及英伟达在通信方面的努力。此外，Bill 还分享了对未来挑战的看法，包括 Agent 模式、推理或思维链等趋势对硬件的需求。在随后的问答环节，Bill 回答了关于互联技术、功耗、人脑功耗、电压堆叠以及未来计算能力发展等问题。