在飞速扩张的人工智能领域，「AI 安全」只能是牺牲品吗？

本期节目，我们请到普林斯顿大学 AI 安全方向的研究学者 VTU，一起聊聊：「AI 安全」到底是什么？AI 的定制化、边缘化，如何影响「AI 安全」的发展？如何平衡安全、创新与资本之间的关系？

去年 7 月，OpenAI 公布由首席科学家 Ilya 主导的「超级对齐 (superalignment) 」计划，承诺将拿出总算力中的 20% 投入在「AI 安全」上，以保证人类对超级智能的可控。但随着技术的高速发展与扩张，这个平衡似乎已经瓦解。在今年 6 月 20 日，Ilya 宣布创立新公司 Safe SuperIntelligence Inc (SSI)，专注于开发安全的超级智能。

☕️ 本期嘉宾

VTU

普林斯顿大学计算机工程博士，2023 年发表《Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!》并登上纽约时报。
X (Twitter) @VitusXie

☕️ 时间线

01:51 聊聊研究「AI 安全」的初心

07:43 「AI 安全」方向的创业是一个好时机吗？

11:40 「AI 安全」的界限在哪里？是否应该有统一的安全性标准？

14:38 后门攻击 (Backdoor Attack) 是什么？

22:11 AI Safety 和 AI Security 竟然是两码事儿？

29:21 总结登上《纽约时报》文章的两个启发点

34:00 苹果和 OpenAI 合作，「AI 安全」的隐患如何体现？

36:33 不止国内，硅谷的生成式 AI 公司也很「卷」！

☕️ 关于我们

Victoria: 帝国理工大学化学系本硕 // 做不被定义的理科生 // 小红书&IG @victoritse
Jecci: 剑桥大学社会人类学硕士 // 做自己的生活艺术家 // 小红书&公众号 @杰西西Jecci

☕️ Reference

OpenAI安全团队解散：Sam Altman 和 OpenAI 总裁 Greg Brockman 倾向于加速商业化，以获得更多资金来支持 AI 模型的算力需求，力求快速增强 AI 的力量；而 Ilya 等人则希望 AI 更安全。去年 11 月，双方矛盾激化，OpenAI 上演「宫斗」大戏，结果 Altman 和 Greg Brockman 在短暂离职后重归 OpenAI，原董事会中的多位董事离开，Ilya 则在今年 5 月宣布离任。
欧盟人工智能法案：2024 年 3 月 13 日，欧盟议会顺利通过了世界首部最全面的《人工智能法》(EU AI Act)，标志着人类在人工智能领域迈出了法制的第一步。
全球最火 AI 技术大佬，离开 OpenAI 后为何创立了一家 AI 安全公司？

☕️ 关于AirCafe

《AirCafe》是一档将不同学科和领域里的人链接在一起的播客节目。通过「第一视角」的对谈与碰撞，我们想要打破海内外信息壁垒，建立一张属于你我的人脉网。

欢迎大家在评论区留言互动，或者扫描下方二维码与我们联系，期待你的来信！

欢迎在 Apple Podcast、Spotify、小宇宙订阅我们，不错过我们的「云端聊天」~

☕️ 声明

本播客的内容仅代表个人观点，并不代表任何公司、律师事务所、投资机构出具的任何形式的意见或建议。未经本播客的授权，不得转载或使用播客节目中的任何内容。

02 对话纽约时报人物：「AI 安全」是学者的自娱自乐还是下一个风口？

AirCafe