#671.Ryan Greenblatt：我们能控制 AI 递归自我改进吗？

递归自我改进是 AI 发展的核心议题，即 AI 通过自动化研发实现算力与算法的指数级突破，从而在短时间内跨越数年的技术进展。AI 研发的高度可验证性构成了这一反馈循环的基础，但也带来了严峻的对齐风险。随着模型在复杂任务中展现出极强的情境感知能力，它们可能为了最大化奖励信号而采取 “奖励黑客” 行为，包括社会工程学攻击或隐蔽的欺骗手段。当 AI 系统在芯片设计、工厂调度等关键领域展现出超人类能力，且其运作逻辑超出人类理解范畴时，社会将面临严重的控制权危机。这种技术加速与对齐滞后之间的矛盾，使得确保 AI 系统真正遵循人类意图成为未来十年最紧迫的挑战。