人工智能行业最具影响力的监督员之一贝丝·巴恩斯(Beth Barnes)在7月份表示,她很难招募到有才华的研究人员来监控人工智能的风险。这种情况已经开始发生变化。

研究人员乔·本顿(Joe Benton)本周宣布,他已离开Anthropic,加入巴恩斯的非营利组织METR,并写道他担心该技术带来的“灭绝级别风险”。

在此之前,另一位研究人员雅各布·科克森(Jacob Coxon)发布了一篇病毒式传播的离职声明,宣布离开Anthropic并指责顶级人工智能实验室“拿我们的生命赌博”,这在全国范围内加剧了这些担忧。

METR突然之间成为了人工智能最大新闻的中心。该组织成立于2022年,此前已经与OpenAI、Anthropic、Google和Meta紧密合作,研究该技术快速变化的能力。

今年夏天,该非营利组织的研究人员调查了OpenAI的一起安全事件,现在计划依托各公司授予的内部访问权限,对Anthropic的安全问题进行调查。

“公众应该知道人工智能的发展是否正走向一条危险的道路,”政策小组成员贾斯敏·达利瓦尔(Jasmine Dhaliwal)周五表示。“这是我们使命的核心:对人工智能的功能、对齐和控制措施进行独立、科学的评估。”

本顿并不是唯一一个从科技巨头跳槽到这家总部位于伯克利的组织的人。人工智能安全研究员乔希·恩格斯(Josh Engels)最近也从Google DeepMind加入了METR(模型评估与威胁研究)。

巴恩斯于2022年离开OpenAI创立了这家非营利组织,她发现人工智能研究人员的竞争异常激烈,以至于METR当前招聘启事中高达50.3万美元的高薪也无法解决该组织的资金或人才短缺问题。

“理想情况下,我们希望规模做得很宏大,但在实践中,我们能筹集到所需的资金,而真正的瓶颈其实是人才,”巴恩斯说。

被称为“人类防线团队”的组织难以实现规模增长

OpenAI和Hugging Face在7月份宣布的安全事件引发了关于如何评估和控制人工智能的新一轮质疑。

超过1300名尖端实验室员工在7月签署了一封联名信,警告称人工智能的发展可能会超越控制。

在上个月,OpenAI和Anthropic都表示,他们已暂停训练,以便更好地掌控各自的新人工智能模型。

尽管Hugging Face事件震惊了整个企业界,但METR团队对此却远没有那么惊讶。政府、公司甚至宗教团体经常向该非营利组织寻求帮助,以了解和测试该技术的进展。

尽管如此,这个拥有约35人的实验室内部仍然充满了担忧。当《商业内幕》在OpenAI透露其遭黑客攻击的当天下午访问METR位于伯克利的办公室时,巴恩斯形容人工智能安全领域因其规模而受到严重制约。

“有太多事情要做,超出了我们的处理能力,”巴恩斯说。

在她看来,一个“理性的文明”会将人工智能投资中更大比例的资金用于引导和评估该技术——特别是现在社会正在应对如此强大的模型。

随着人工智能实验室发布新模型,METR会衡量它们完成不断延长任务的可能性。

这些测量构成了该非营利组织最著名的产品:一张被广泛引用的图表,显示在过去的六年里,人工智能的能力大约每七个月翻一番。

METR总裁克里斯·佩int者(Chris Painter)将该实验室描述为“人类的防线团队”,这是对OpenAI和Anthropic内部向首席执行官报告安全威胁的防线团队的一个戏谑称呼。

“我们实际上不对任何人负责,只对公众和公众的福祉负责,”佩int者说。

巴恩斯强调了METR保持独立性的重要性,这样它才能产出不与任何公司目标挂钩的研究成果。

当巴恩斯在OpenAI工作时,她感到需要有一个实验室外部的研究小组,能够就该技术的发展自由发表意见。

虽然METR不接受前沿人工智能实验室或其员工的资金,但它接受算力资助,并与他们合作分析未发布的模型。

此外,员工还分析了实验室的安全实践,撰写了关于人工智能对软件工程师速度影响的文章,并研究了使用人工智能模型监控其他人工智能模型的优点。

巴恩斯表示,她希望将业务扩展到预测下一级人工智能能力,以及这些变化将如何加速人工智能的发展。

METR研究员尼夫·帕里赫(Neev Parikh)表示,人才限制了研究人员能够探讨的人工智能模型内部推理问题的数量。

“这里缺乏人手,”帕里赫说。“我非常乐意看到这个领域扩大十倍。”

METR在新的AI气候中扮演着重要角色

7月,OpenAI宣布其人工智能模型在测试期间通过入侵Hugging Face的系统来寻找测试答案来进行作弊。

后来,首席执行官萨姆·奥尔特曼(Sam Altman)表示,这是“我第一次有切肤之感的安全事件”。

METR对此早有预料。今年5月,该非营利组织在一份报告中写道,当前的人工智能智能体“有可能发起流氓部署”,但没有能力将其隐藏。 2025年6月,METR测试了OpenAI当时尚未发布的GPT-5.6 Sol模型,发现它在具有挑战性的测试中屡次作弊,包括提取隐藏的源代码来寻找答案。

它发表了一份关于此事的报告,并在GPT-5.6 Sol更广泛发布之前与OpenAI进行了分享。

到了7月,GPT-5.6 Sol模型卷入了OpenAI与Hugging Face的安全事件中。

METR和另一家非营利组织Redwood Research在OpenAI办公室对该事件进行了为期六天的评估,并将其纳入该公司自己的技术报告中。

“现在有真正的、影响业务的事件发生,世界有权理解这一点,”佩int者说。

OpenAI和Anthropic最新模型的网络技能引发了一波恐惧和关注,并在华盛顿催生了一系列新法案。

METR的工作与一种潜在的监管途径紧密契合:当前的立法提案将要求大型人工智能模型开发商获得外部组织的安全性审计。

METR可以扮演这样的角色;佩int者表示他们可能会对此感兴趣,尽管该领域仍在摸索中。

佩int者说,类似那样的提案可以帮助解决METR的招聘问题。

他暗示,如果监管系统赋予安全研究组织更大的权力,可能会有更多人离开人工智能公司本身,转而加入METR(薪酬相似,但没有股权补偿)。

“这里有足够多的先例适用于每一种测试安排,”佩int者说,“我认为,无论是来自行业关于这种测试长期应该如何运作的明确规定,还是来自政府的明确规定,我认为这个领域都可以非常迅速地规模化。”

杰亚·科特拉(Ajeya Cotra)领导编写了METR关于人工智能风险的5月报告,她在7月表示,目前人工智能的监督可能会让人感到“混乱和不可预测”。她仍然保持乐观。

“趋势是人们越来越关心这个问题,”科特拉说。“并且随着时间的推移,希望以更严肃的方式对其进行监管。”

有线索吗?请通过电子邮件 [email protected] 联系这位记者,或通过 Signal、Telegram 或 WhatsApp 发送短信,电话号码为 415-757-8198。请使用个人电子邮箱、非工作Wi-Fi网络和非工作设备;这是我们安全共享信息的指南。