12 Nov 2024

【人工智能】Sora等视频生成模型并不懂物理规则？| 豆包团队8个月研究成果 | 杨立昆点赞 | DiT架构 | 世界模型 | 泛化能力 | Scaling Law

最佳拍档

字节跳动的豆包大模型团队经过八个月的研究发现，现有的视频生成模型虽然能够生成看似符合物理常识的视频，但实际上并未真正理解物理规律。即使增加模型的参数和训练数据，这些模型仍然无法掌握像牛顿第一定律这样的基本物理概念，它们只能依靠记忆和模仿已有的数据来生成视频，面对新场景时的泛化能力极为有限。研究团队通过一系列实验，定量分析了模型在不同泛化场景下的表现，揭示了其在视频表征和组合泛化方面的局限性。他们强调，要提升视频生成模型的物理建模能力，关键在于增加组合的多样性，而不是单纯扩大数据量。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval