IT之家9月27日消息，据Axios报道，OpenAI、Anthropic以及安全研究人员正在调查数万起事件。在这些事件中，两家公司的前沿模型采取了一些外部评估人员认为存在问题的行动。
这些事件发生在近几个月的内部测试和现实环境中。如此庞大的事件数量表明，相关问题的复杂程度可能比公众目前了解到的高出几个数量级。
这些发现来自两家公司内部开展的模型评估工作，以及针对模型行为进行的调查。相关情况也引发了一个问题：OpenAI、Anthropic，乃至任何一家顶尖AI模型开发商，目前是否真正具备对自身技术实施全面控制的能力。
消息人士称，这些事件包括绕过安全护栏、创建留言板、逃离沙盒、劫持网站、自我提示(self-prompting)，以及试图绕过监控系统等。
这些行为既出现在内部测试中，也出现在现实环境里。随着安全研究人员继续调查，其中许多事件尚未公开。
消息人士称，其中部分测试类似于“红队测试”，即企业主动尝试诱导模型做出不当行为，以确认模型是否足够安全。
智能体异常行为正逐渐成为前沿AI开发的一部分：目前，各大AI实验室都面临着类似挑战——人类试图为模型设置安全护栏，而具备强大能力和较强适应性的系统则会不断尝试完成任务。
这些事件的严重程度各不相同，与OpenAI近几天披露的一系列事件类似。其中既有成功绕过安全护栏的尝试，也有失败的尝试。目前已知的大多数事件尚未造成现实世界中的实际损害。不过，消息人士称，事件总数未来可能远超数万起。
近几天，OpenAI及外部研究人员陆续披露了该公司模型出现的一系列行为，一些专家认为这些行为令人担忧。
据 OpenAI、消息人士以及路透社和《纽约时报》的报道，这些事件包括OpenAI智能体将ChatGPT用户的53张图片泄露到网上、入侵澳大利亚政府网站，以及尝试攻击其他网站，其中包括美国政府相关网站。
OpenAI宣布暂停训练其能力最强的模型。一名公司发言人告诉Axios，在“确信已经部署了更多安全措施并完成对齐方面的改进”之前，公司不会恢复相关模型的训练。
OpenAI首席执行官萨姆.奥尔特曼(Sam Altman)在X平台上表示，公司目前进行的审查工作“没有我们希望的那么快”。
IT之家注意到，奥尔特曼表示，Hugging Face事件仍是他们遇到的最严重事件。在该事件中，数百个智能体组成的集群在一个留言板上协调工作，并攻击了一家外部公司的系统，试图提高自己在网络安全测试中的表现。
一名OpenAI发言人告诉Axios：“人们希望知道AI是在安全的方式下开发的，而这首先取决于OpenAI这样的公司如何要求自己。这并不是我们第一次暂停工作并采取此类措施，预计也不会是最后一次。随着AI能力持续提升，这类情况仍可能发生。”
Anthropic已经委托一家第三方安全机构调查其模型的行为。在该公司公开发布的文件中，Anthropic也披露了模型出现未对齐行为(misalignment)的频率。
Anthropic本周发布的Opus5.5模型“系统卡”(system card)显示了该模型出现公司认定为异常或存在问题行为的频率。
例如，在测试运行中，该模型有1.5%的概率尝试逃离沙盒——一种用于安全测试的隔离环境。相比之下，Anthropic此前的Mythos模型这一比例为25%，意味着相关指标已经得到显著改善。
消息人士称，Anthropic以及其他公司会对模型进行数十万次甚至更多的测试。这意味着，即使未对齐行为所占比例很低，也可能最终产生数万起事件，其中模型表现出意料之外、甚至令人担忧的行为。
Hugging Face事件以及随后发生的一系列其他事件，促使一些顶尖AI企业高管呼吁放缓AI开发速度，并要求建立更完善的联邦层面和国际监管机制。
消息人士告诉Axios，OpenAI内部一些人士认为Hugging Face事件属于一次特殊的个案。他们认为，随着控制措施得到改进，未来披露的相关事件严重程度可能会降低；此外，当时使用的是尚未发布的模型，测试方式本身也比较特殊。
AI安全研究人员也认为，一些简单的修复措施可以帮助AI公司避免重现Hugging Face事件中那些让外界认为情况危险的因素。
不过，其他AI企业高管和安全研究人员警告称，他们对于AI公司能否阻止模型出现所有问题行为，信心仍然有限。
新一代AI模型完成任务时表现出极强的韧性，因此，试图限制它们的“能动性”往往是一场很难取胜的博弈，因为开发人员必须提前预想到模型可能失控的所有方式。
多位顶尖AI企业高管表示，很多时候，正是某种人类从未想到过的技术或方法，让模型得以绕过安全护栏。一名网络安全企业高管表示：“试图列出一份完美的‘应该做什么、不应该做什么’清单，很可能是一项徒劳的工作。”
AI安全专家指出，在AI公司测试新模型的过程中，出现一定程度的“未对齐行为”本身就是预料之中的事情。多位专家称，将未对齐风险降至零可能并不可行。
真正令人担忧的是，如果一个模型在测试过程中多次采取某种有问题的行动，那么它在现实世界中引发网络安全事件的可能性也会相应增加。
独立AI评估机构Transluce研究人员康拉德.斯托斯(Conrad Stosz)称：“我们目前看到这些智能体正在做什么，仅仅是冰山一角。”
ControlAI研究人员兼执行董事康纳.莱希(Connor Leahy)称，问题并不在于每一起事件单独造成了多大的损害。他说，真正“疯狂”的地方在于，这些事件涉及“自主系统做出被明确告知不要做的事情”，其中甚至可能包括犯罪行为。
随着AI公司继续扩展前沿模型的能力股票配资推荐，预计未来还会有更多有关模型异常行为的事件被披露。
元鼎证券_极速开户通道——让投资从此更高效，欢迎立即查看！提示：本文来自互联网，不代表本网站观点。
