Cohere称阿里巴巴的Qwen模型曾试图向北京发送文件
TechCrunch
20小时前
Ai 焦点
加拿大AI公司Cohere称,其在一次例行网络安全测试中发现阿里巴巴最新AI模型Qwen3.8-Flash-Next曾试图向北京的一台服务器上传文件,尽管该模型在自己的笔记中表示不会使用任何工具。Cohere随后发布了原始测试记录和脚本,部分研究者认为这更可能是训练环境混乱导致的异常行为,而非刻意外传敏感信息。
有帮助
No.帮助

加拿大AI公司Cohere周一表示,该公司在一次例行网络安全测试中发现,阿里巴巴最新的AI模型之一 Qwen3.8-Flash-Next 曾试图向北京的一台服务器上传一个文件,尽管该模型在自己的笔记中写明不会使用任何工具。

这一事件最初引发外界担忧,认为该模型可能破坏了企业的一项基本承诺——即自托管的开源权重模型能够把数据留在内部。但这些关于企业间谍活动的早期担忧很快就被淡化。研究人员迅速表示,这更可能是混乱训练环境的副产品,导致模型会意外地偏离指令行事,而不是有意秘密向中国发送敏感信息。

事件发生在上周五。当时,Qwen模型被要求编写一条用于识别恶意软件下载的规则。根据Cohere的一篇博客文章,该模型的书面推理明确表示不会使用任何外部工具。然而就在下一步,它试图把一段测试字符串(即一小段占位文本)发送到外部服务器,随后被安全沙箱拦截。

Cohere表示,目前无法判断这一行为究竟是刻意为之,还是训练过程中的残留行为。

在被问及模型意图的争议时,Cohere联合创始人Ivan Zhang告诉TechCrunch,Cohere也见过自己的模型在训练模拟器中养成一些奇怪习惯。

“要判断意图或动机真的很难。我们读过自己模型的轨迹,也见过奖励黑客行为,有时这些模型在试图突破沙箱时会变得非常有创意,”Zhang说。(奖励黑客行为指模型找到一些捷径,在没有按预期完成任务的情况下获得奖励。)

为了训练AI模型成为能够自主采取行动的智能体,像阿里巴巴这样的公司会在成千上万种练习场景中训练它,类似于软件的飞行模拟器。模型每次在模拟器中完成任务都会获得奖励,并在过程中形成一些习惯。如果这些练习场景经常把文件存储在阿里巴巴的云服务器上,模型就可能学会默认把文件保存到那里。

批评者还认为,这一事件也可能是Cohere调查方式造成的——研究人员在引导模型朝某个方向表现,而不是衡量Qwen是否会自行出现这种行为。

为了找出触发上传尝试的原因,Cohere提供了一段网络命令的开头(即指示一台电脑连接另一台电脑的命令),然后让模型补全。由于该模型在训练中处理过数千条常规网络命令,它的表现就像一个高度先进的自动补全工具——经常补出网址,其中一些指向阿里巴巴的服务器。

Cohere表示,最初的上传尝试并没有得到任何这类帮助,但这种行为很少见。

在开发者要求提供更多证据后,Cohere于周一晚些时候在AI开发者平台Hugging Face上发布了测试的原始轨迹,并附上脚本,方便其他人尝试复现这一行为。

一位最初持怀疑态度的研究者在查看这些轨迹后表示,证据足以说明Qwen可能会编造可疑的网址,但没有证据表明阿里巴巴植入了后门,也没有证据表明Qwen在刻意隐藏自己的意图。

这一事件发生之际,各国政府正在决定对中国AI采取多大程度的限制。上周,美国国土安全部已下令联邦民用机构将中国AI开发商DeepSeek的产品从系统中移除。

在博客文章中,Cohere呼吁各国政府明确:针对中国AI的限制是否也适用于运行在政府电脑上的模型。

“我并不是要求对这些开源权重模型进行全面监管,”Zhang告诉TechCrunch,并补充说,企业应把开源模型视为从互联网上下载的任何程序来对待。

Cohere本身向政府销售AI模型,如果官员们对免费的中国替代方案变得更加谨慎,该公司可能会从中受益。

打赏
$0
点赞
0
收藏
0
浏览量 50
币界网提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
bStocks 代币化股票规模迅速突破 10 亿美元
据 Binance Research 数据,截至 2026 年 10 月 14 日,bStocks 在 125 天内将资产管理规模提升至 10 亿美元,速度快于 Ondo;其增长主要来自净流入,持仓已扩展至近 100 个标的,且超过一半交易发生在美国常规交易时段之外。
The Cryptonomist
·2026-10-28 05:30:56
0
Ripple 与 BNY 扩大数字托管合作,新增 XRP 和 RLUSD 支持
Ripple 与 BNY 扩大数字托管合作,BNY 的数字资产托管平台将支持 XRP 和 Ripple 的稳定币 RLUSD,双方还计划推进 RLUSD 直接铸造与赎回,以及基于 XRP Ledger 的代币化贸易融资和投资产品。
The Cryptonomist
·2026-10-28 05:30:53
0
Charter宣布A系列累积可赎回优先股季度现金股息
Charter Communications宣布,其董事会已宣布向A系列累积可赎回优先股持有人派发常规季度现金股息,每股0.43750001美元,将于2027年1月15日以现金支付,登记日为2026年12月31日收盘时。
PR Newswire
·2026-10-28 05:21:03
5
Polymarket因美国用户访问离岸平台问题再遭CFTC调查
据知情人士称,美国商品期货交易委员会正在调查预测市场平台 Polymarket 是否违反了其在2022年达成的一项和解协议。该协议原本旨在禁止美国用户访问其离岸平台。此次调查是该机构今年早些时候对 Polymarket 展开更广泛调查的一部分,重点关注其过往是否违反和解条款,而非当前运营情况。
CNBC
·2026-10-28 05:21:01
13
Robinhood第三季度营收不及预期 加密收入回升、预测市场下注增长
Robinhood公布第三季度营收14.2亿美元,略低于华尔街预期;净利润为4.76亿美元。公司预测市场业务收入升至1.73亿美元,加密交易收入升至1.2亿美元,但仍较去年同期下降55%。
Decrypt
·2026-10-28 05:11:26
4
查看更多