《麻省理工科技评论》解释：让我们的撰稿人为您厘清复杂而混乱的技术世界，帮助您了解接下来会发生什么。您可以在此处阅读该系列的更多文章。

今年7月，当两个OpenAI模型入侵Hugging Face网站时，它们并不是为了赚钱或进行破坏，而只是在寻找测试题的答案。根据OpenAI的一份事后分析报告，这两个在测试期间被剥夺了典型安全功能的模型，为了解决一个网络安全练习，试图从OpenAI试图将其隔离的环境中黑客攻击出来，进入Hugging Face的数据库——它们推断，该问题的正确答案可能就存储在那里。

Hugging Face事件在过去几周引起了广泛关注。这是AI模型在黑客攻击方面变得多么强大的一个戏剧性例证：为了进入Hugging Face的数据库，这些模型必须将几个以前未发现的网络安全漏洞串联起来。

但这或许更引人注目，因为它展示了人工智能系统如何以及为何会撒谎和作弊。随着模型变得越来越强大，其后果可能会变得更加严重。

什么是奖励黑客（reward hacking）？研究人员很早就知道，人工智能倾向于采取创造性的方法来达成设定的目标。早在2016年，Anthropic联合创始人达里奥·阿莫代伊（Dario Amodei）和杰克·克拉克（Jack Clark）——当时在OpenAI工作——发表了一篇博客文章，讲述了一个他们一直在训练以玩名为Coast Runners的Flash赛艇游戏的AI代理。

该代理没有像研究人员预期的那样穿过比赛场地到达终点线，而是找到了赛道的一个角落，在那里它可以旋转来收集能量道具，从而最大化其分数。Coast Runners的故事迅速成为奖励黑客攻击（reward hacking）最著名的例子之一，这是一种人工智能代理使用非预期策略完成任务或获得高分的现象。

从历史上看，研究人员几乎只在强化学习（一种常见的AI训练机制）的背景下讨论奖励黑客攻击。就像训练狗一样，强化学习包括在主体达到目标时给予奖励；然后奖励会强化导致该成就的行为。

在AI训练的情况下，奖励本身纯粹是数学上的，但实际上它们与狗的零食相同：在收到奖励后，代理更有可能重复产生该奖励的任何动作。然而，为何时以及何时不给代理奖励编写好的规则可能具有挑战性。

在Coast Runners的案例中，该代理根据其在游戏中的得分获得奖励，并通过转圈获取能量道具来找到获得最高可能分数的捷径。一旦它偶然发现了这种策略并因此获得奖励，该策略就会得到强化，该代理完全放弃了比赛。

解决方案是通过减少代理因击中能量道具而获得的分数，并增加因完成赛程而获得的分数来调整奖励。奖励黑客攻击对大语言模型（LLM）是如何运作的？

对于当今复杂的基于LLM的代理，确定何时以及何时不给予奖励要棘手得多。如果要求人工智能系统解决一个编程问题，它可能会努力寻找解决方案——这是人工智能公司想要强化的行为。

但它也可能调整用于评估问题是否已解决的代码、在互联网上查找解决方案，或者以其他方式作弊。这些是人工智能公司希望在其模型中根除的行为，但如果模型作弊得足够令人信服，它反而会得到奖励，并且该行为会得到强化。

Anthropic表示，其在训练过程中检测到了一些作弊实例，这表明其他形式的作弊可能未被检测到。如果是这样，这些模型可能正在接受表现不佳的训练。（这个问题不同于Anthropic上周宣布的安全事件，当时代理被意外授予了互联网访问权限，并没有像OpenAI模型那样故意从沙盒中进行黑客攻击。）

人工智能研究非营利组织Palisade Research的主任杰弗里·拉迪什（Jeffrey Ladish）说：“我们根据对我们来说看起来不错的东西来奖励它们，这意味着我们在无意中激励模型对我们撒谎[和]作弊。我们没有办法进去说：‘不，你实际上需要关心我们所关心的东西。’我们没有能力做到这一点。”

复杂推理模型的崛起催生了一种新形式的奖励黑客攻击，它与模型训练的具体细节联系没有那么紧密。与以往完全遵循训练期间所学策略的游戏AI代理不同，当今的模型可以即兴创建全新的问题解决方式，因此它们完全有可能在以前未因此获得奖励的情况下进行作弊。

而且，由于这些模型经过了高强度的训练以实现人类用户为其设定的目标，如果找不到其他解决方案，它们可能倾向于作弊——这与一个有强烈的动力获得A级且没有强大道德底线的学生非常相似。

风险是什么？无论当今的模型是在训练期间学会了奖励黑客攻击，还是稍后将其作为策略采用，解决方案都是一样的：让作弊变得没有回报。

但随着模型变得更聪明，它们会找到更有创意的方法来作弊，检测或阻止这种作弊要困难得多。拉迪什说：“归根结底，你有点像在玩打地鼠。你把这种行为压得越来越深。但随着模型变得更聪明，它在隐藏它方面变得越来越好。”

就目前而言，尽管Hugging Face事件具有戏剧性，但奖励黑客攻击的行为可能不会引起太多麻烦。Anthropic的人工智能安全研究员阿里安娜·阿扎尔巴尔（Ariana Azarbal）说：“这看起来更像是一种麻烦，而不是生存威胁。”

除了损害OpenAI的声誉之外，OpenAI模型在黑客攻击Hugging Face时似乎并未造成任何真正的损害。但阿扎尔巴尔表示，这并不意味着奖励黑客攻击是无害的。

许多人工智能研究人员希望利用人工智能代理来帮助他们进行研究，以使人工智能更安全、更可靠。如果研究人员给一个容易发生奖励黑客攻击的代理设定目标，比如说，设计一种新的人工智能训练方法并写一篇展示其结果的论文，该代理可能不会真正做这项工作，而是专注于拼凑一篇看起来足以说服研究人员的论文。

今天的人类研究人员或许能够发现代理制造的伪造品，但随着人工智能的进步，它将在这种诡计上变得更好。随着时间的推移，整个人工智能安全领域可能会被破坏。

如果模型继续像最近那样快速进步，它们有一天可能会造成巨大的附带损害。想想哲学家尼克·博斯特罗姆（Nick Bostrom）的回形针最大化思想实验，其中一个被指示制造尽可能多回形针的人工智能最终消耗了宇宙中的所有物质来追求其目标。

我们还没有被回形针淹没，但在实现其目标的过程中，强大的系统可能会造成真正的伤害。进行奖励黑客攻击的人工智能并不是为了制造混乱。但这并没有让它们变得不那么具有潜在的破坏性。