E15｜TesserAct：用 RGB-DN 视频预测构筑 4D 具身世界模型

本期 Gradient Descent Reads 播客深入探讨了名为 Tesseract 的研究论文，该研究旨在构建一个 4D 具身世界模型，使 AI 能够真正理解并与三维世界互动。两位主持人详细讨论了现有 2D 视频模型的局限性，解释了 4D 模型对于机器人感知和行动的重要性，并深入分析了 Tesseract 如何通过预测 RGB-DN 视频作为中间表示，巧妙地绕过直接生成复杂 4D 几何的难题。他们还讨论了 Tesseract 的数据构建方法、模型架构、重建过程以及实验结果，强调了其在提升机器人任务性能方面的潜力，并展望了 4D 世界模型在虚拟现实和科学研究等领域的应用前景。