【人工智能】谷歌研究团队发现DiLoCo具有更优Scaling Laws | 分布式低通信优化 | 稳定扩展超参数 | 损失下降更快 | 带宽减少99% | 最优批大小 | 数据并行 | 未来趋势

本期节目探讨了谷歌三大研究团队近期关于分布式低通信优化训练方法 DiLoCo 的研究，以及其对大模型训练 Scaling Laws 的影响。 起初，节目介绍了 OpenAI 在 2020 年提出的 Scaling Laws，即模型性能与模型规模、数据量和计算资源之间的关系。然而，传统的数据并行训练在大模型训练中面临通信开销和内存限制的挑战。 针对此问题，谷歌提出的 DiLoCo 方法通过减少通信开销和提高扩展性来解决这些挑战，其在超参数设置的稳定性、带宽需求以及对更大 P 大小的容忍度方面都展现出显著优势。例如，研究表明 DiLoCo 在模型参数达到几十亿以上时，损失比数据并行更低，并且在不同模型规模下带宽需求降低了几个数量级。 更重要的是，DiLoCo 在处理过渡训练方面也表现出色，能够在相同时间内进行更多过渡训练。 最后，节目展望了 AI 未来发展趋势，指出 Chihuahua 模式（依赖大量计算资源和数据）面临挑战，新型推理模型和 MOE 等技术可能带来更轻量化、高效率的 AI 未来，但合成数据技术的突破也可能再次引发算力竞争。 总而言之，DiLoCo 为大规模模型训练提供了一种更有效率的方法，也引发了对 AI 未来发展模式的深入思考。