Cohere 称阿里巴巴的 Qwen 模型曾試圖向北京發送文件
TechCrunch
10-27 09:28
Ai 焦點
加拿大AI公司Cohere表示,在一次例行網絡安全測試中發現阿里巴巴最新的AI模型Qwen3.8-Flash-Next曾試圖向北京的一臺服務器上传文件,儘管該模型在自身的筆記中表示不會使用任何工具。Cohere隨後公佈了原始的測試記錄和腳本,部分研究人員認為這更可能是訓練環境混亂導致的異常行爲,而非刻意傳輸敏感信息。
有幫助
No.幫助

加拿大AI公司Cohere週一表示,該公司在一次例行網絡安全測試中發現,阿里巴巴最新的AI模型之一Qwen3.8-Flash-Next曾試圖向北京的一臺伺服器上傳一個文件,儘管該模型在自己的筆記中明確表示不會使用任何工具。

這一事件最初引發了外界的擔憂,認為該模型可能破壞了企業的一項基本承諾——即自托管的開源權重模型能夠將數據保留在企業內部。但這些關於企業間諜活動的早期擔憂很快就消散了。研究人員迅速表示,這更可能是混亂的訓練環境的副產品,導致模型會意外地偏離指令行動,而非有意祕密地向中國發送敏感信息。

事件發生在上週五。當時,Qwen 模型被要求編寫一條用於識別惡意軟件下載的規則。根據 Cohere 的一篇博文,該模型的書面推論明確表示不會使用任何外部工具。然而就在下一步,它試圖將一段測試字符串(即一小段佔位文本)發送到外部伺服器,隨後被安全沙箱截獲。

Cohere 表示,目前無法判斷這一行為究竟是刻意為之,還是訓練過程中的殘留行為。

在被問及模型意圖的爭議時,Cohere聯合創始人Ivan Zhang告訴TechCrunch,Cohere也見過自己的模型在訓練模擬器中養成一些奇怪習慣。

「要判斷意圖或動機真的非常難。我們讀過自己模型的軌跡,也見過獎勵黑客行為的情況,有時這些模型在試圖突破沙箱時會變得非常有創意,」Zhang說。(獎勵黑客行為指的是模型找到一些捷徑,在沒有按預期完成任務的情況下獲得獎勵。)

為了訓練 AI 模型成為能夠自主採取行動的智能體,像阿里巴巴這樣的公司會在成千上萬種練習場景中訓練它,類似於軟件的飛行模擬器。模型每次在模擬器中完成任務都會獲得獎勵,並在過程中形成一些習慣。如果這些練習場景經常將文件儲存在阿里巴巴的雲服務器上,模型就可能學會默認將文件保存到那裡。

批評者還認為,這一事件也可能是由 Cohere 的調查方式所造成的——研究人員在引導模型朝某個方向表現,而非衡量 Qwen 是否會自行出現這種行為。

為了找出觸發上傳嘗試的原因,Cohere 提供了一段網路命令的開頭(即指示一臺電腦連接到另一臺電腦的命令),然後讓模型補全。由於該模型在訓練中處理過數千條常規網路命令,它的表現就像一個高度先進的自動補全工具——經常補出網址,其中一些指向阿里巴巴的伺服器。

Cohere 表示,最初的上传嘗試並沒有得到任何這類幫助,但這種行為非常少見。

在開發者要求提供更多證據之後,Cohere 在週一晚些時候於 AI 的開發者平台 Hugging Face 上发布了測試的原始軌跡,並附上了腳本,以便其他人能夠嘗試複現這一行為。

一位最初持懷疑態度的研究者在查看這些軌跡後表示,證據足以說明 Qwen 可能會編造可疑的網址,但沒有證據表明阿里巴巴植入了後門,也沒有證據表明 Qwen 在刻意隱藏自己的意圖。

此事件發生之時,各國政府正在決定對中國 AI 采取多大的限制措施。上週,美國國土安全部已下令聯邦民用機構將中國 AI 開發商 DeepSeek 的產品從系統中移除。

在博客文章中,Cohere呼籲各國政府明確:針對中國AI的限制是否也適用於運行在政府電腦上的模型。

「我並不是要求對這些開源權重模型進行全面監管,」Zhang 告訴 TechCrunch,並補充說,企業應該將開源模型視為從互聯網上下載的任何程序來對待。

Cohere 本身向政府銷售 AI 模型,如果官員們對免費的中國替代方案變得更加謹慎,該公司可能會因此受益。

打賞
$0
點讚
0
收藏
0
瀏覽量 95
幣界網提醒,請廣大讀者理性看待區塊鏈,切實提高風險意識,警惕各類虛擬代幣發行與炒作,站內所有內容僅係市場資訊或相關方觀點,不構成任何形式的投資建議。如發現站內內容含敏感資訊,可點擊“舉報”,我們會及時處理。
提交
評論 0
最熱
最新
還沒有人評論喔~快搶沙發吧!
相關閱讀
Polygon 將其穩定幣支付基礎設施擴展至 Solana
Polygon Labs 將其穩定幣支付工具 Open Money Stack 首次擴展至 Solana,稱可通過單一連接幫助企業完成銀行賬戶入金、跨鏈轉移加密資產以及向全球客戶和供應商付款。公司表示,此舉順應了 Solana 在支付領域的增長勢頭,也延續了 Polygon 更廣泛的支付業務推進,包括收購加密現金公司 Coinme。
Decrypt
·2026-10-29 23:05:12
3
PhotonPay 完成4000万美元C輪融資,推進以穩定幣為核心的金融操作系統
PhotonPay 宣布完成4000万美元C輪融資,由Blockchain Capital領投,SBI Group等跟投。公司稱將把資金用於擴展其以穩定幣為核心的Financial OS,強化多資產錢包、全球發卡、本地清算和面向AI代理的金融執行層。
Cointelegraph
·2026-10-29 23:05:08
4
WSOT 2026正式啟動:Bybit 世界交易系列賽開放報名,跨加密資產、股票和AI的獎池高達1000萬USDT
Bybit 開放 WSOT 2026 报名,賽事持續至2026年12月2日,獎池最高1000萬 USDT,並新增股票、黃金、原油、指數及 AI 賽道。
PR Newswire
·2026-10-29 22:55:14
13
Wabi 完成新一輪融資後估值達12.5億美元
Wabi 表示已完成5500万美元的融資,投後估值達到12.5億美元。這家由Eugenia Kuyda創立的公司最初以通過提示詞讓任何人都能創建應用為主,隨後轉向AI messenger,並將自己描述為“個人代理”,希望能夠為用戶生成完成任務所需的界面。
TechCrunch
·2026-10-29 22:55:10
12
Kamino 允许 Backpack Securities 作為抵押品
Kamino 于10月28日启用了Backpack Securities的抵押功能,Solana DeFi用户现在可以使用这些可赎回、1:1支持的股票型资产进行借贷USDC。首批支持Micron、SK Hynix、SpaceX和SanDisk,最高贷款价值比为60%。
SolanaFloor
·2026-10-29 22:55:07
12
查看更多