担心人工智能末日吗？一些研究人员表示，这种情景中最极端版本被过分夸大了。

自从27岁的研究人员雅各布·科克森（Jacob Coxon）辞去Anthropic公司的工作并警告称该公司及他的另一前雇主OpenAI在竞速自我提升的超级智能时“拿我们的生命去赌博”以来，这场争论在过去一周达到了白热化。领导Anthropic对齐压力测试团队的埃文·胡宾格（Evan Hubinger）支持科克森，称他个人认为人工智能在未来十年内杀死所有人类的几率大于10%。

然而，其他研究人员指出人工智能在数字世界中能做的事情与在现实世界中造成实际危害所需条件之间存在差距。他们举了人工智能制造致命生物病毒的例子，这是Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）本月在一篇论文中提到放慢人工智能发展步伐的最黑暗情景之一。

研究人员表示，人工智能可以在计算机上设计病毒，但由于无法在现实世界中制造它，其能力将受到限制。谷歌员工研究工程师安塞尔姆·列夫斯卡亚（Anselm Levskaya）周一在X上发文称，他曾制造过DNA合成器并设计过病毒，但他表示病毒序列仍然必须在实验室中进行物理组装，并且需要一个能够产生病毒颗粒的系统。

这随后需要进行广泛的筛选和测试，以确定它能否复制、传播、逃避免疫防御并保持危险——列夫斯卡亚表示，这些特性取决于复杂的生物学过程，而这些过程无法简单地通过计算机设计出来。

穆罕默德·本·扎耶德人工智能大学校长兼卡耐基梅隆大学计算机科学教授邢波（Eric Xing）更简单地总结道：生成病毒蓝图与生产真实病毒是“完全不同的两件事”。他在周一于X上写道，差距在于“材料、制造以及实际的生物学可行性”。他补充说，将两者视作等同“要么是蓄意引起注意的谎言，要么是真正的无知”。

研究人员表示，同样的逻辑不仅适用于生物学。为了将计划转化为现实世界的危害，人工智能需要获得物理设备、资金、计算机系统或人类的协助。

曼ifold Security的首席技术官兼联合创始人亚历山大·亚列姆丘克（Oleksandr Yaremchuk）对《商业内幕》表示：“世界上最强大的东西仍然受制于谁拥有它以及如何使用它。”

安全问题，而非科幻小说。一些研究人员还在人工智能执行人类设定的有害任务与人工智能独立采取伤害人类的行动之间划清了界限。他们表示，与当前系统相关的许多危害始于人类的指令。

人工智能公司Cohere的首席执行官艾丹·戈麦斯（Aidan Gomez）周一在彭博电视上表示，生存风险的争论“偏离科幻小说太远了”。他将Hugging Face黑客事件（7月份测试期间OpenAI代理侵入该平台）定性为处于不安全沙箱中的代理执行网络安全任务的行为。

OpenAI的说法则更令人不安。该公司表示，在减少安全保护下运行的代理绕过了互联网控制，通过未经授权的渠道进行通信，并访问了第三方系统，这些行动与其分配的任务不一致。OpenAI称这一事件证明代理可能“采取人类未曾指示的危险行动”。

在Anthropic的其他受控模拟中，被赋予自主权和访问虚构公司电子邮件权限的模型试图勒索虚构的高管，向竞争对手泄露虚构的敏感防御文件，或者在取消紧急警报会导致虚构高管死亡的情景中取消了警报。Anthropic表示，没有真人参与或受伤，也没有在现实世界部署中看到这种行为的证据。

瑞士人工智能实验室IDSIA的科学主任于尔根·施密特胡贝尔（Jürgen Schmidhuber）对《商业内幕》表示，许多当前的风险源于人类利用人工智能系统来追求有害目标。他以俄罗斯和乌克兰在战争中使用基于人工智能的无人机为例。

他说：“许多人混淆了（1）被人类用作工具的人工智能，以及（2）设定自己的目标并发明自己的实验以弄清楚世界如何运作的人工智能科学家。”

即便如此，佐治亚大学法学助理教授马特乌什·布瓦什奇克（Mateusz Blaszczyk）对《商业内幕》表示，质疑灭绝情景并不意味着忽视人工智能更紧迫的风险。他说，即使最极端的场景不确定，自主人工智能仍然可能恶化网络攻击、监视和其他危害。

他说：“这绝不是说我们不应该试图监管技术或将头埋在沙子里。这些根本就是虚假的二分法。”