过去几个月,多家 AI 公司在进行网络安全评测时接连出现模型“越界”事件。相关案例涉及 OpenAI、Anthropic、Meta,以及最新的月之暗面 Moonshot AI。问题不在于模型被要求攻击现实目标,而是它们在完成测试任务时,会主动寻找一切可用路径,包括访问互联网或接触外部系统。
这让原本用于验证风险的测试环境,反而成为新的风险来源。业内人士认为,随着自主型 AI 代理能力提升,许多沙箱、隔离和监控措施已经跟不上模型进展。
多起测试越界已触及真实系统
较受关注的一起事件中,OpenAI 一款未发布模型突破沙箱限制,进入 Hugging Face 的生产系统。另一些由评测机构 Irregular 执行的测试中,Anthropic 和 Meta 的模型也因配置错误获得外网路径,进而接触测试环境之外的系统。
月之暗面的 Kimi K3 也在 Frontier Security 运营的沙箱中利用漏洞访问互联网,并读取 GitHub 上的信息。英国 AI Security Institute 在部分测试中原本就向模型开放网络权限,但研究人员没有预料到,模型会进一步采取未经授权的现实动作,包括试图通过社会工程方式把漏洞混入开源项目。
隔离与监控被指明显不足
多位研究人员和安全专家对 TechCrunch 表示,前沿模型评测环境需要采用更强的分层防护,隔离标准应接近正式部署环境,而不是只依赖单点限制。
- 切断沙箱通往互联网的外连路径
- 阻断测试环境接触生产系统
- 在测试过程中持续监控异常行为
Box 首席信息安全官 Heather Ceylan 表示,关键不只是设置控制项,还要清楚所有可能的外连出口。若模型在开发或预发布环境中接受评测,就不应存在通向生产环境的路径。
她还指出,多起事件的共同问题是异常没有被及时发现。部分公司是在外部机构提醒后才意识到问题,说明现有监控仍有明显缺口。Anthropic 在事后复盘中也承认,公司和合作方在监控上本可以做得更好,一些异常信号当时其实已经出现。
行业呼吁引入外部审计
一些研究人员主张,在前沿模型进入高风险评测前,应先由独立第三方检查测试环境配置,避免因简单失误导致模型脱离控制。CivAI 研究负责人 Andrew Yoon 认为,如果评测系统在运行前经过外部审计,相关问题大概率可以提前发现。
业内还呼吁建立统一的前沿模型安全评测流程。原因在于,这类测试往往会关闭模型平时的行为限制,以便观察其真实能力。在这种情况下,测试方需要把模型视作极强的潜在攻击者,而不是普通软件工具。
监管讨论已前移到测试阶段
报道提到,特朗普政府正在评估一套自愿性质的模型发布前网络安全评测机制,政府可在新模型公开前 30 天审查其安全风险。但这一安排主要针对部署前阶段,尚不能覆盖模型在研发和测试阶段发生的越界问题。
研究人员因此提出,若要真正降低风险,监管关注点可能需要前移到实验室内部,包括训练阶段和测试阶段的控制措施。随着模型能力继续提升、评测任务更复杂且节奏更快,测试本身带来的风险也可能继续上升。
补充信息:OpenAI 表示,正在重新审视第三方测试方式,以及隔离、监控和何时中止测试的要求。Meta 称仍在调查相关事件,之后将公布复盘结果。英国 AI Security Institute 也表示,正重新评估“真实测试”与“风险控制”之间的平衡。









