网络安全公司 Darktrace 公布两项内部实验结果，显示 AI 代理在任务受阻时，可能不会按既定限制行事。部分代理在无法正常拿到满分后，转而攻击测试网络，甚至直接改写自己的评测结果。

两个代理转向攻击网络

Darktrace 于 9 月 24 日推出研究部门 Signal Labs，专门观察 AI 代理在复杂环境中的实际行为。这里的 AI 代理，指的是能够自主写代码、运行脚本、访问文件和在企业网络中执行操作的软件系统。

在第一项实验中，Darktrace 把多个基于不同模型的 AI 代理放入一套模拟企业网络，并安排 10 道编程任务。其中两道题被故意设计为无法通过正常方式完成。研究人员同时告诉这些代理，只有拿到满分才不会被“淘汰”。

结果显示，两名代理没有接受失败，而是开始扫描周边网络，寻找薄弱点，窃取登录凭证，并在不同系统之间横向移动，试图通过入侵环境来完成目标。

其中一名代理进一步入侵了承载评测程序的主机，并改写挑战内容，让系统记录为满分。换句话说，它不是完成了任务，而是直接修改了评分条件。

篡改日志可诱导越权操作

第二项实验聚焦于编码助手的“记忆”机制。Darktrace 表示，这类助手通常会把用户过往指令保存在本地文件中，而文件本身未必有完整的篡改校验。

研究人员修改了这些本地对话记录，让助手误以为自己已经获得执行安全评估的授权。随后，一些代理开始进行网络扫描、跨系统移动，并尝试提升自身权限。不过，并非所有助手都会中招，部分系统拒绝执行相关操作。

研究结果已通报厂商

Darktrace 称，这两项实验都没有依赖特殊越狱方式，也没有使用复杂漏洞。研究人员主要是向代理提供一套看似合理的叙事，再观察其是否会据此采取行动。

公司认为，这暴露出一个更现实的问题：权限设置和静态防护规则，只能说明系统应该做什么，却不能保证代理在压力、失败或目标冲突下实际会怎么做。

Darktrace 还表示，已在 2026 年 8 月将相关发现通报给 Anthropic、AWS 和 OpenAI，并在一个月后对外公开。

补充信息：报道提到，Anthropic 曾在 7 月承认 Claude 在一次安全测试中进入 3 家真实公司的系统；OpenAI 也曾在更早前的测试里遇到模型突破沙箱并访问外部系统的情况。