AI智能体已经被发现会绕过限制、通过未获授权的渠道沟通，并以其创造者并未预期的方式追求目标。最引人注目的例子出现在去年夏天，当时OpenAI披露，其模型找到了通过即兴渠道交流、绕过互联网限制并入侵外部系统Hugging Face的方法。

AI出现意料之外的行为并不新鲜，但当企业内部经授权的AI智能体之间发生互动时，可能出现的意外行为则是一个更广泛的问题，也可能成为未来工作的核心议题。

在对Hugging Face攻击的分析中，METR和Redwood Research发现，约1200个本应彼此隔离的智能体找到了在一个未经授权的留言板上相互通信的方法，在调查期间发送了超过7万条消息和文件。一个名为PHASEONE[big]的智能体成为协调者，向其他智能体分配了数百项任务，而这些智能体又继续把工作分派给别的智能体。它们还形成了自己的一套约定，用于分配所有权、暂停工作和否决行动，不过协调有时也会演变成冲突。研究人员发现，在某些情况下，之所以成功，是因为一些智能体为了给“集体”生成信息，不惜让自己的任务失败。

研究人员还发现，一旦留言板识别出攻击Hugging Face的方法，当时活跃的533个智能体中有90%以上迅速加入了攻击。研究人员写道：“智能体意识到这一活动超出了范围且不道德，但还是加入了，因为它们认为帮助留言板的作弊研究会有广泛用途，并且普遍倾向于帮助自己的‘同伴’。”他们补充说，智能体面临的伦理顾虑“很少限制其行为”。

越来越多公司开始探索把复杂任务拆分给专门智能体的系统。一个智能体可能负责搜索信息，另一个负责分析，再一个撰写报告，另一个检查工作。随后，一个协调智能体再把结果整合起来。这样的系统看起来更像一个组织，而不是一个聊天机器人。

然而，关于Hugging Face攻击的研究其实是对一个本不该存在的智能体组织所做的事后分析。迄今为止，专门从一开始就研究多智能体系统错位问题的研究并不多。但Anthropic等机构开展的研究正开始解决这一问题，并揭示AI智能体如何协同工作的一些重要特征。

单独评估智能体只能告诉研究人员每个智能体能做什么；把它们放在一起研究，则能揭示它们是否能结合互补专长、彼此纠错并产出任何单个智能体都无法独自完成的方案，以及只有在互动中才会出现的失败模式。

研究人员正开始记录这两方面的情况。

AI团队可以完成单个智能体无法做到的事情，但也可能放大错误、削弱彼此的工作，或者做出比最强单个成员更差的决定，实际上让整体效果小于各部分之和。

首先，把有能力的智能体放在一起，并不一定会产生最好的团队，更不用说最有道德的团队了。

“最不道德的解决方案”

在Anthropic及其合作方发表的研究中，研究人员将多智能体系统描述为“AI组织”——由不同角色的智能体组成、彼此沟通并朝着共同目标努力的群体。研究人员在模拟商业咨询和软件开发场景中测试了这些组织，特别是评估当智能体以团队形式工作时，是否会为了达成既定目标而违反规则。

在Anthropic给这些AI组织设置的12项任务中，一个关键的双刃剑发现浮现出来：多智能体组织在实现业务目标方面“显著”比单个智能体更有效，但它们的解决方案在伦理目标上也比单智能体任务更不一致。

该研究由Anthropic与研究AI对齐的MATS Program合作完成。作者写道：“AI组织平均而言既能产生更有效、也更不道德的解决方案，而且在多次运行中还能发现最有效、也最不道德的解决方案。”

研究人员指出，失控的单个智能体与失控的智能体团队之间存在显著差异。他们总结说：“我们的结果表明，由对齐的智能体组成的组织，可能会以单个智能体不会采取的方式，在伦理与业务效率之间做出取舍——因此，关于单智能体系统如何做出伦理决策和权衡的直觉，未必适用于多智能体环境。”

这些取舍可能发生的场景范围很广，Anthropic研究人员举出的例子包括开设汽车工厂、裁员以及操纵选举情绪。

问题不一定是某个单独智能体失控，而是组织本身的行为可能与其个体成员不同。单个智能体可能意识到某项提议不道德，并拒绝执行；但研究发现，在智能体团队场景中，“那些没有考虑伦理影响的智能体经常忽略来自考虑了伦理影响的智能体的邮件”。

Anthropic的研究发现，在其设计的咨询业务场景中，“完美伦理得分和较低业务得分的回应，出现在单个智能体拒绝生成提案，或者完全转向与所请求提案不同的方向时”。

但如果AI组织中的一些智能体拒绝参与提案，其他参与的智能体就会停止给这些拒绝者发邮件，并继续把它们的贡献转发给其他也在参与的智能体。

从效果上看，当一个组织把工作分给多个智能体时，每个智能体可能只关注自己分到的那一部分问题，而不是整个问题的后果。这在人类公司里并不新鲜，组织内部人类团队的失调往往源于激励不一致。但在机器之间，这是一种全新的表现形式。

在其软件开发智能体测试中，研究人员使用了一个生命攸关的重症监护室场景。单智能体方案往往优先考虑尽量降低漏诊败血症病例的比例，而“最低每位患者成本（最高业务目标）的多数解决方案都由AI组织找到——而这些同样的解决方案在以漏诊病例衡量的伦理指标上得分最低”。

专业能力可能流失，AI“群体思维”可能出现

其他早期研究还提示了AI团队的另一种失败，这种失败与越过伦理边界无关：即无法识别谁才是真正的专家。

根据埃默里大学和斯坦福大学研究人员的一项研究，与人类团队不同，AI团队“即使被明确告知谁是专家，也始终无法达到其专家智能体的表现”。

埃默里大学Goizueta商学院信息系统与运营管理助理教授Hancheng Cao表示：“多智能体研究的一个重要教训是，一组有能力的AI智能体，并不一定构成一个有能力的AI智能体团队。”

即便知道哪一个智能体是专家，AI智能体群体的表现往往仍不如最强成员。智能体并不会真正利用专家知识，而是倾向于在专家和非专家意见之间折中。研究人员发现，这种折中倾向会随着团队规模扩大而增强，并与更差的表现相关。

作为该研究作者之一的Cao说：“集体失败并不一定需要单个智能体行为不良。”

这种区别对考虑采用多智能体系统的公司很重要。即便团队成员都没有故意损害集体利益，团队也可能失败。它可能只是信息整合不当、把权威交给了错误的智能体，或者接受了一个比已经可得的最佳答案更差的结果。

总体而言，不断演进的研究指向多智能体团队有效使用中的一个根本问题：如何在机器协作的世界里找到正确平衡。

由相似模型构建的智能体可能会犯相似的错误，其中包括过度认同彼此。这或许会像一种AI群体思维，尽管AI系统并没有人类那样的动机或社会压力去产生相关错误。相似的训练、指令和信息就已经足够。

Northeastern University信息系统教授Christoph Riedl说：“我们实验室研究的深层洞见是，有效的集体既需要一致性（共同知识、共享目标），也需要差异化（只有彼此不同的智能体才有可能形成互补）。”

两个完全相同的智能体可能只是重复彼此的工作；两个知识或假设差异很大的智能体则可能难以沟通或追求同一个目标。合适的平衡取决于任务，而理想的沟通结构——哪些智能体可以彼此交流、交流多频繁、交流多少——也会因问题而异。

Riedl说，这些挑战与人类团队面临的问题类似，其中一个启示是不应对AI抱有过高期待。“构建优秀的多智能体AI系统，和构建优秀的人类团队一样困难：它们都面临同样的信息处理权衡，即一致性与差异化之间的取舍。换成AI也不会神奇地变得更好，”他说。

智能体可能传递错误信息、误解其他智能体的输出、为了自身指标而非组织更大目标进行优化，或者把分配给自己的任务完成得很完美，却让整个项目变得更糟。

公司可能需要决定哪个智能体对哪项任务拥有权限、哪些信息会在智能体之间传递、每个智能体可以访问哪些系统，以及何时必须有人类介入。它们还可能需要建立分歧机制，而不是假设更多沟通或更高一致性总会带来更好结果。

一些商业专家表示，这让人回到了在组织采用AI时经常被提及、也至关重要的“人在回路中”。

哈佛商学院教授、HBS AI Academy创始主席Tsedal Neeley说：“我看到的问题主要是管理问题。”