最近，国际能源署在一份报告中表示，ChatGPT响应一个请求的平均能耗相当于将一个60瓦的灯泡点亮约三分钟。有媒体报道AI是“吃电狂魔”，随着人工智能的发展，人类将面临“缺电”问题，同时马斯克也宣称“下一个短缺的将是电力”。英伟达黄仁勋、OpenAI奥特曼等科技界大佬也表达了AI被能源制约的焦虑。与此同时，工信部专家委员会表示，AI确实耗电，电力成本也确实很高，但是目前能源问题还没有到影响AI 发展的程度。为了探究AI能耗的真相，我们邀请到了普渡大学的助理教授魏体伟老师和DeepTech的李源博士，共同探讨AI能耗、芯片散热以及未来的解决方案。

数字北京大厦（电影流浪地球2北京根服务器所在地）

本期嘉宾
魏体伟：普渡大学机械工程系助理教授

研究方向：三维系统集成，包括新型三维集成堆叠技术，高密度互连技术；芯片高性能冷却技术，芯片级嵌入式微型沟道冷却和冲击射流冷却技术；高性能散热材料开发与表征，包括高热导率热界面材料、高热导率底部填充材料。

李源：北京大学材料学博士

曾任职于某部委研究院，多年硬科技产业研究与投资经验，关注 AI、新材料、能源、生物科技等领域。

主持人

冰冉：中国科学院微生物研究所硕士

时间轴

02:16 AI是否真的那么耗能？

09:01 AI耗能的组成部分：机架、GPU、散热

12:11 数据中心运行的最大成本：耗电与耗水

14:29 能耗问题是否会限制AI的发展

26:50 芯片散热风冷与水冷的优劣势

32:41 封装级散热在散热系统中的应用

35:26 热界面材料在芯片散热中的瓶颈

41:47 封装级散热的成本与未来发展方向

46:02 热界面材料的开发

51:15 散出去的热量是否能够回收再利用

52:45 数据中心选址、绿色能源、超导、光介质计算、软硬件优化等的开放讨论

阿里巴巴数据中心内部

内容聚焦

本期播客聚焦于人工智能（AI）发展中的一个重要议题——能耗。据国际能源署报告，AI每次响应请求的能耗相当于点亮一个60瓦灯泡约三分钟。AI不仅芯片自身能耗高，还需要大量能量用于散热，这可能导致电力短缺问题。其中，芯片的功率密度和散热方式成为关键因素。

● AI是否真的那么耗能？

数据中心能耗主要由单个芯片、GPU芯片、以及其他IT设备组成，能耗巨大。在大型数据中心的能源消耗上，电力成本和水资源消耗是最主要的开销。散热方案对于降低能耗至关重要，包括芯片级能耗和整个数据中心级别的能耗管理。常见的散热技术包括使用液体冷却系统来提高效率并减少能源浪费。如英伟达正在开发整合了GPU和高效散热系统的机架，一方面可以提供一站式的数据中心解决方案，另一方面也提高了客户的依赖性。散热方案的能耗可能占到芯片本身能耗的0.2-1倍，因此选择有效的散热策略对于降低整体运营成本至关重要。随着人工智能技术的发展，特别是深度学习模型的不断增大，对能源消耗提出了巨大挑战。通过硬件层面的优化，如芯片架构和制程改进，以及软件层面的算法优化、模型压缩等手段，可以有效降低能耗。

● 能耗问题是否会限制AI的发展？

随着技术的持续进步，特别是参数的不断增加，未来的电力消耗可能会呈指数级增长，但仍不太可能成为制约其发展的关键因素。原因在于，随着技术的进步，已有多种方式被提出以降低AI芯片的散热和能耗，包括芯片设计优化、使用新材料提高散热效率等。未来可能会找到更多的新能源解决方案来满足AI发展的电力需求。

● 风冷、水冷以及封装机散热解决方案

散热技术的选择依赖于芯片的功率密度：对于低至100瓦/平方厘米的功率密度，风冷足够；100-500瓦/平方厘米时，可以选择单向水冷；而当功率密度超过500瓦/平方厘米，必须使用两向流或沸腾冷却技术来应对高功率需求。散热技术的选择并非简单的优劣之分，而是应根据特定应用场景和芯片特性来决定。

随着高性能芯片和AI芯片的发展，封装散热技术将逐渐取代传统风冷和水冷方式，成为数据中心冷却的新趋势。封装散热技术，或称芯片级散热，通过将散热系统与芯片整合在同一封装体内，提高了散热效率并简化了散热解决方案。此技术通过消除芯片与散热器之间的热界面材料层，实现了更高的热导率和更好的散热效果。此外，液冷系统的应用进一步提升了散热效能，特别是在大型数据中心中。实验室正在探索使用高热导率热界面材料和微流道技术，以实现更高效的散热，并满足数据中心对于高效、可靠散热系统的迫切需求。

● 热界面材料在芯片散热中的瓶颈问题与开发方向

芯片正面的晶体管与芯片底面的三维堆叠技术带来了散热挑战，利用微流道进行片间散热是前沿解决方案之一，需要跨学科的设计协同。现有方法依赖于高热导率材料及高性能散热器的结合，但面临热界面材料局限性和制造成本等问题。包括液金、石墨烯、金刚石等高性能材料，这类材料具有良好的柔性和导热性，潜在应用广泛。未来技术发展趋势指向芯片级和封装级的散热解决方案，预计将消除传统散热系统的局限性并提高效率，进一步推动高性能芯片的发展。

● 开放讨论：未来解决AI能源消耗的未来途径

先进的封装技术和片上光互联正在推动光电集成的发展, 使用光子代替电子进行传输和计算, 提升效率并降低能耗。尽管目前尚处于发展阶段，光子芯片在矩阵运算方面的潜力巨大，有可能彻底改变计算和信息传输的方式，实现更低的能耗和更高效的散热。

阿里巴巴张北数据中心冷却塔

制作团队

主持人：冰冉 DeepTalk

剪辑：嘉鱼

运营：大壮

ChatGPT日耗电超50万度？来聊聊AI的能耗与散热的问题

DeepTalk

ChatGPT日耗电超50万度？来聊聊AI的能耗与散热的问题