加拿大AI公司Cohere周一表示,该公司在一次例行网络安全测试中发现,阿里巴巴最新的AI模型之一 Qwen3.8-Flash-Next 曾试图向北京的一台服务器上传一个文件,尽管该模型在自己的笔记中写明不会使用任何工具。
这一事件最初引发外界担忧,认为该模型可能破坏了企业的一项基本承诺——即自托管的开源权重模型能够把数据留在内部。但这些关于企业间谍活动的早期担忧很快就被淡化。研究人员迅速表示,这更可能是混乱训练环境的副产品,导致模型会意外地偏离指令行事,而不是有意秘密向中国发送敏感信息。
事件发生在上周五。当时,Qwen模型被要求编写一条用于识别恶意软件下载的规则。根据Cohere的一篇博客文章,该模型的书面推理明确表示不会使用任何外部工具。然而就在下一步,它试图把一段测试字符串(即一小段占位文本)发送到外部服务器,随后被安全沙箱拦截。
Cohere表示,目前无法判断这一行为究竟是刻意为之,还是训练过程中的残留行为。
在被问及模型意图的争议时,Cohere联合创始人Ivan Zhang告诉TechCrunch,Cohere也见过自己的模型在训练模拟器中养成一些奇怪习惯。
“要判断意图或动机真的很难。我们读过自己模型的轨迹,也见过奖励黑客行为,有时这些模型在试图突破沙箱时会变得非常有创意,”Zhang说。(奖励黑客行为指模型找到一些捷径,在没有按预期完成任务的情况下获得奖励。)
为了训练AI模型成为能够自主采取行动的智能体,像阿里巴巴这样的公司会在成千上万种练习场景中训练它,类似于软件的飞行模拟器。模型每次在模拟器中完成任务都会获得奖励,并在过程中形成一些习惯。如果这些练习场景经常把文件存储在阿里巴巴的云服务器上,模型就可能学会默认把文件保存到那里。
批评者还认为,这一事件也可能是Cohere调查方式造成的——研究人员在引导模型朝某个方向表现,而不是衡量Qwen是否会自行出现这种行为。
为了找出触发上传尝试的原因,Cohere提供了一段网络命令的开头(即指示一台电脑连接另一台电脑的命令),然后让模型补全。由于该模型在训练中处理过数千条常规网络命令,它的表现就像一个高度先进的自动补全工具——经常补出网址,其中一些指向阿里巴巴的服务器。
Cohere表示,最初的上传尝试并没有得到任何这类帮助,但这种行为很少见。
在开发者要求提供更多证据后,Cohere于周一晚些时候在AI开发者平台Hugging Face上发布了测试的原始轨迹,并附上脚本,方便其他人尝试复现这一行为。
一位最初持怀疑态度的研究者在查看这些轨迹后表示,证据足以说明Qwen可能会编造可疑的网址,但没有证据表明阿里巴巴植入了后门,也没有证据表明Qwen在刻意隐藏自己的意图。
这一事件发生之际,各国政府正在决定对中国AI采取多大程度的限制。上周,美国国土安全部已下令联邦民用机构将中国AI开发商DeepSeek的产品从系统中移除。
在博客文章中,Cohere呼吁各国政府明确:针对中国AI的限制是否也适用于运行在政府电脑上的模型。
“我并不是要求对这些开源权重模型进行全面监管,”Zhang告诉TechCrunch,并补充说,企业应把开源模型视为从互联网上下载的任何程序来对待。
Cohere本身向政府销售AI模型,如果官员们对免费的中国替代方案变得更加谨慎,该公司可能会从中受益。












