02 Jul 2024

终于到了大模型集群互联，看昇腾Atlas 900集群细节！#大模型 #集合通信

ZOMI酱

本期播客深入探讨了 AI 大模型训练服务器集群的互联通信技术，主要分为片内和片间两种互联方式。片内互联方面，我们介绍了三种主要技术：PCIe、共享内存和私有协议（如 NVLink 和华为的 HCDS）。特别强调了 NVLink 和 NVSwitch 的高带宽和低延迟特性，以及它们在 AI 服务器集群中的重要性。片间互联则对比了 TCP/IP 和 RDMA（包括 Infiniband 和 RoCE），分析了各自的优缺点和适用场景，指出 RDMA 在高性能计算中的优势，并讨论了英伟达和华为等厂商在这一领域的竞争态势。最后，播客还简要分析了 AI 服务器集群的架构及未来发展趋势，并探讨了多芯片封装技术对互联通信的影响。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval