E145|对话Meta田渊栋：被Transformer改变的世界与人类AGI的野心

本期播客节目介绍了神经网络研究员的学术历程和对神经网络工作原理的理解。讨论了神经网络在围棋、自动驾驶和AGI领域的应用，并探讨了达到AGI的可能性与瓶颈。重点关注了GaLore算法在消费级GPU上训练大模型的可行性和效率提升。还探讨了Transformer架构的优势和局限，以及Sora视频生成模型的一致性和世界模型的可能性。讨论了合成数据在训练大模型中的作用和局限，并强调了竞争对人工智能模型进步的重要性。嘉宾还分享了田渊栋的科幻小说创作灵感和创作过程。