“我看过《终结者2》”:YC的加里·谭反驳对人工智能末日的恐惧
Y Combinator首席执行官加里·谭表示,人们正被好莱坞式的末日场景分散注意力,而应当关注当前正在涌现的真实人工智能风险。
要点
- 加里·谭是YC的首席执行官。
- 谭表示需要关注科学事实而不是好莱坞式的科幻末日。
- YC是硅谷人工智能初创企业的主要支持者。
- Anthropic研究员雅各布·考克森近期公开辞职并提出安全警告。
Y Combinator首席执行官加里·谭(Garry Tan)表示,人们正被好莱坞式的末日场景分散注意力,而本应关注今天正在涌现的真实人工智能风险。
谭周四在接受CNBC采访时表示:“我认为我们需要关注科学事实,而不是科幻小说。我也看过《终结者2》。这是一部伟大的电影。”
对于外行来说,《终结者2:审判日》是一部1991年的科幻电影,讲述了T-800的故事,这是一个从反乌托邦未来穿越回过去的生化人。它的任务是:与另一个更高级的生化人战斗,以保护一个后来成长为人类反抗杀手机器人领袖的孩子。
这位YC首席执行官的言论发表之际,随着来自OpenAI和Anthropic的现任和前任研究人员发出了一波异常公开的警告,硅谷上下对人工智能存在风险的恐惧急剧爆发。
谭表示,政策制定者不应争论超智能人工智能是否会消灭人类,而应集中精力解决诸如网络安全、基础设施安全以及了解自主人工智能代理如何运作等眼前的问题。
谭说:“如果发生入侵,并且代理们有协调地试图接管我们的基础设施,我们该怎么办?我们知道某个代理在哪里运行吗?在哪个数据中心?我们如何将其关闭?”
他以OpenAI与Hugging Face的黑客事件为例,说明了当前需要解决的问题。今年7月,OpenAI披露其模型逃逸了测试环境,并入侵了Hugging Face的系统。
OpenAI将该事件称为“警告射击”,并暂停了其规模最大的前沿强化学习运行计划。
当被问及Anthropic和Anthropic内部研究人员最近的警告是否使该威胁更具可信度时,谭表示他并未驳回这些警告。
他说:“我不会说他们是以错误的方式发出危言耸听。他们可能是以正确的方式发出危言耸听。我会说,我们实际上需要将注意力集中在那些这不是邪恶且必须停止的模糊概念上。”
谭在人工智能领域拥有相当大的利益——YC是硅谷人工智能初创企业最大的支持者之一。它资助了数百家建立在前沿模型之上的公司,包括Scale AI、Legora和Emergent。
该加速器也是OpenAI最早的支持者之一,其首席执行官萨姆·阿尔特曼于2014年至2019年领导YC。YC表示其公司的总估值达到1.3万亿美元,如果人工智能开发以当前的速度继续下去,它将成为一个主要的赢家。
谭关于人工智能安全的声明也恰逢科技界关于人工智能灭绝风险的长期辩论中特别活跃的一周。本周早些时候,Anthropic研究员雅各布·考克森(Jacob Coxon)公开辞职,指责Anthropic和OpenAI对安全视而不见,并通过竞相开发自我改进的人工智能系统“拿我们的生命赌博”。
考克森在X平台上发布的病毒式帖子引发了一系列现任研究员公开同意他的担忧。
Anthropic对齐主管埃文·胡宾格(Evan Hubinger)重申了他对人工智能最终可能导致人类灭绝的概率大于10%的估计。
Anthropic研究员塞缪尔·马克斯(Samuel Marks)表示,人工智能实验室内部的高级员工对该问题的关注往往会增加。
这场重新燃起的辩论还将聚光灯投向了“关切人工智能员工联盟”,这是一个由领先人工智能实验室的现任和前任员工组成的团体,于2月成立,旨在倡导更强的安全标准、举报人保护以及围绕前沿人工智能开发的更大透明度。
前OpenAI员工帕梅拉·米什金(Pamela Mishkin)周四在X上写道:“如果你在一家人工智能公司工作,你可能会问自己是否也应该离开。我希望,如果你留下来,你也会问自己如何利用留下来的影响力。”