我们仍然不知道人们究竟是如何使用人工智能的
人工智能观测站(AI Observatory)的一项研究发现,不同人工智能模型的使用情况存在显著差异,且随时间发生变化,这与大型人工智能公司侧重于工作场景的报告存在盲点。
人工智能观测站发现,人工智能的使用在不同模型之间存在显著差异,并且随着时间的推移发生了变化。其研究显示,许多敏感行为比主要人工智能公司的报告中所捕捉到的要多得多,他们表示这些公司更关注工作而不是个人使用。
Anthropic经济指数是最好且被引用最多的人工智能使用数据来源之一,但它存在盲点。顾名思义,它专注于Claude AI与工作和生产力相关的用途,过滤掉了与这些用途无关的对话。
当人工智能观测站团队将Anthropic的方法应用于他们的数据库时,他们发现近一半的对话(即48%)将被过滤掉。那些被过滤掉的与工作无关的对话更有可能包括健康和人际关系(占44.2%,而Anthropic的分析中为31.2%)、成人或非法话题(7.9%对2.1%)、骚扰和仇恨(27.5%对5.66%)以及色情内容(16.7%对2.4%)。
类似地,OpenAI关于ChatGPT使用的2025年报告发现,只有30%的消费者使用与工作有关。Anthropic发布了单独的博客文章,讨论人们如何将Claude用于支持或陪伴,甚至生成儿童性虐待材料,但拥有人工智能观测站的宏观分析,而不是将其划分为单独的报告,有助于研究人员更一致地理解不同的用途,德克萨斯大学奥斯汀分校信息学院助理教授大卫·维德(David Widder)说。
维德研究人们如何与人工智能系统互动,他并未参与人工智能观测站的研究。人工智能观测站查看的数据集包括2023年至2025年期间进行的对话,研究发现人们使用人工智能的方式以及各种人工智能平台的响应方式都存在差异。
在WildChat(人工智能观测站研究中包含的最大、最详细的数据集之一)中,对话随着时间的推移变得越来越长、越来越详细,提示词Token、响应Token和对话轮次的增加表明了这一点。随着时间的推移,闲聊也明显增多。
这表明人工智能陪伴功能正在增加;与此同时,人工智能助手的自我披露(即它是一个聊天机器人)减少了。此外,研究人员标记为敏感使用的交流——即可能包含有害或受限制内容的交流,包括性骚扰和仇恨言论——有所下降。
这可能表明平台普遍部署了更有效的安全防护措施。人工智能观测站还发现,根据模型的不同,人工智能的使用情况有很大差异。
根据工具的不同,用户在话题、互动风格、对话结构以及敏感使用案例的可能性和类型上都各不相同。例如,研究人员发现,人们更频繁地使用Grok和Gemini来检索信息。
尤其是Grok,在获取新闻和政治信息方面特别受欢迎,但它也是虚假信息往往集中的地方。这与其他显示虚假信息在Grok上迅速扩散的研究相一致,xAI没有回应置评请求。
与此同时,人们更有可能求助于Anthropic进行编程,求助于Gemini进行社交和角色扮演,以及求助于ChatGPT协助完成家庭作业。甚至同一模型的不同版本之间也存在差异。
研究人员发现,当ChatGPT由GPT-3.5驱动时,人们与它的对话较短;而当由GPT-4o驱动时,对话则更长、更多迭代——这是合理的,因为该版本后来以导致情感上瘾而闻名。然而,公司的报告往往无法捕捉到这些模型之间甚至模型内部的细微差别。
没有哪单一公司的报告能讲清全貌,麻省理工学院媒体实验室的应届博士毕业生、与雷乌尔共同领导这项研究的谢恩·朗普雷(Shayne Longpre)说。为了创建人工智能观测站,雷乌尔以及来自麻省理工学院、斯坦福大学、数据溯源倡议和其他机构的研究人员汇集了来自先前研究收集的七个真实世界数据集中的24521次对话,涉及85633个对话轮次。
这些对话来自5000名用户,他们在2023年至2025年期间与52种不同的模型进行了互动,包括ChatGPT、Gemini、Claude和Grok。但与大型实验室自己能够访问的数据相比,这些对话只是九牛一毛。
例如,最新的Anthropic经济人工智能指数是基于对100万次Claude对话的分析;OpenAI关于人们如何使用ChatGPT的报告分析了150万次对话。Anthropic的一位代表表示,他们发表的研究反映了其研究团队的具体问题和兴趣,以及支持外部独立研究的重要性,而OpenAI没有回应置评请求。
此外,人工智能观测站的数据集来自自愿提供的数据源,这意味着它可能低估了人们不太愿意分享的敏感使用情况。因此,研究人员警告说,其研究结果并不代表所有人工智能的使用。
不过,观测站的工作为研究社区拓宽了获取渠道。人工智能公司通常不共享其聊天数据进行分析,这意味着他们的报告往往侧重于那些能将公司描绘成最好形象的发现,雷乌尔和维德等独立研究人员表示。
当我们想问,例如:Anthropic的通用人工智能系统主要是用于善意还是恶意,我们没有办法回答这个问题,因为这些信息是专有的,维德解释说。人工智能观测站的数据将可供研究人员进行分析,该团队希望随着时间的推移扩大其数据集。
雷乌尔说,理想情况下,人工智能公司会以保护用户隐私的方式与独立研究人员共享数据。但就目前而言,任何根据人工智能使用数据做出决策的人都冒着完全在野蛮生长的环境中运作的风险,在不知道公司叙事之外实际发生了什么的情况下做出这些真正重大的决策,雷乌尔说。