Sign in
Prev
Next
Summary
Mindmap
Transcript
Keywords
Highlights
Shownotes
Send
Sign in
Help
Toggle theme
Sign in
Toggle theme
Enjoy Podwise!
Enjoy Podwise!
Sign in to sync your playlist
Playlist 0/50
Prev
Next
YouTube
05 Dec 2023
19m
大模型训练需要多少GPU?大模型显存怎么算? #大模型 #AI系统
ZOMI酱
YouTube
Play
Summary
Shownotes
Mindmap
Transcript
Keywords
Highlights
Sign in
Sign in to access all AI-generated content
本期播客节目涉及了LLM大语言模型的参数量计算量和显存占用情况。发言人首先介绍了大模型参数量计算方式和大模型训练所需时间的评估方法。接着探讨了大型模型训练面临的挑战:显存效益和计算效益。然后详细介绍了大模型训练中的显存占用情况以及NPU利用率和公式中的各个参数的影响。最后,讨论了使用混合精度进行训练和计算模型显存所需的公式,并提供了减小显存的建议。
Takeaways
Outlines
Q & A
Preview
How to Get Rich: Every Episode
Naval