加拿大AI公司Cohere週一表示,該公司在一次例行網絡安全測試中發現,阿里巴巴最新的AI模型之一Qwen3.8-Flash-Next曾試圖向北京的一臺伺服器上傳一個文件,儘管該模型在自己的筆記中明確表示不會使用任何工具。
這一事件最初引發了外界的擔憂,認為該模型可能破壞了企業的一項基本承諾——即自托管的開源權重模型能夠將數據保留在企業內部。但這些關於企業間諜活動的早期擔憂很快就消散了。研究人員迅速表示,這更可能是混亂的訓練環境的副產品,導致模型會意外地偏離指令行動,而非有意祕密地向中國發送敏感信息。
事件發生在上週五。當時,Qwen 模型被要求編寫一條用於識別惡意軟件下載的規則。根據 Cohere 的一篇博文,該模型的書面推論明確表示不會使用任何外部工具。然而就在下一步,它試圖將一段測試字符串(即一小段佔位文本)發送到外部伺服器,隨後被安全沙箱截獲。
Cohere 表示,目前無法判斷這一行為究竟是刻意為之,還是訓練過程中的殘留行為。
在被問及模型意圖的爭議時,Cohere聯合創始人Ivan Zhang告訴TechCrunch,Cohere也見過自己的模型在訓練模擬器中養成一些奇怪習慣。
「要判斷意圖或動機真的非常難。我們讀過自己模型的軌跡,也見過獎勵黑客行為的情況,有時這些模型在試圖突破沙箱時會變得非常有創意,」Zhang說。(獎勵黑客行為指的是模型找到一些捷徑,在沒有按預期完成任務的情況下獲得獎勵。)
為了訓練 AI 模型成為能夠自主採取行動的智能體,像阿里巴巴這樣的公司會在成千上萬種練習場景中訓練它,類似於軟件的飛行模擬器。模型每次在模擬器中完成任務都會獲得獎勵,並在過程中形成一些習慣。如果這些練習場景經常將文件儲存在阿里巴巴的雲服務器上,模型就可能學會默認將文件保存到那裡。
批評者還認為,這一事件也可能是由 Cohere 的調查方式所造成的——研究人員在引導模型朝某個方向表現,而非衡量 Qwen 是否會自行出現這種行為。
為了找出觸發上傳嘗試的原因,Cohere 提供了一段網路命令的開頭(即指示一臺電腦連接到另一臺電腦的命令),然後讓模型補全。由於該模型在訓練中處理過數千條常規網路命令,它的表現就像一個高度先進的自動補全工具——經常補出網址,其中一些指向阿里巴巴的伺服器。
Cohere 表示,最初的上传嘗試並沒有得到任何這類幫助,但這種行為非常少見。
在開發者要求提供更多證據之後,Cohere 在週一晚些時候於 AI 的開發者平台 Hugging Face 上发布了測試的原始軌跡,並附上了腳本,以便其他人能夠嘗試複現這一行為。
一位最初持懷疑態度的研究者在查看這些軌跡後表示,證據足以說明 Qwen 可能會編造可疑的網址,但沒有證據表明阿里巴巴植入了後門,也沒有證據表明 Qwen 在刻意隱藏自己的意圖。
此事件發生之時,各國政府正在決定對中國 AI 采取多大的限制措施。上週,美國國土安全部已下令聯邦民用機構將中國 AI 開發商 DeepSeek 的產品從系統中移除。
在博客文章中,Cohere呼籲各國政府明確:針對中國AI的限制是否也適用於運行在政府電腦上的模型。
「我並不是要求對這些開源權重模型進行全面監管,」Zhang 告訴 TechCrunch,並補充說,企業應該將開源模型視為從互聯網上下載的任何程序來對待。
Cohere 本身向政府銷售 AI 模型,如果官員們對免費的中國替代方案變得更加謹慎,該公司可能會因此受益。












