02 Dec 2023

存储遇到大模型会有哪些挑战？#大模型 #AI系统 #数据存储 #AI集群

ZOMI酱

本期播客节目讨论了大型模型在参数和数据集规模急剧增加的情况下对存储提出的更多要求。大型模型的开发和数据准备、模型训练和微调、推理和智能体等阶段都和存储密切相关，需要更多的显存内存和训练数据。通过实例图表和数据集统计，说明了大型模型对存储的挑战和要求。挑战包括海量的小文件的高并发和低延迟的读写，异构多模态数据的分布式并行读写等，需要存储系统具备高性能、高并发和低延迟的特点。存储性能瓶颈主要来自于小文件的IOPS，而非带宽。解决存储性能瓶颈和多模态数据的挑战需要提高存储性能、减少计算时间和确保高质量的存储和不间断的服务。对快速存储产品的性能指标包括IoPS、吞吐和访问实验。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval