安永稱內部AI路由器最多削減60% Token消耗
Businessinsider
Ai 焦點
安永稱,內部 AI 路由器上線後,結合預算與治理措施,Token 消耗最多下降 60%。
有幫助
No.幫助

安永表示,公司今年 4 月在全球上線一套內部 AI 路由系統,用來在不同模型之間分配員工請求。員工前端使用方式基本上不變,但係統會在後台判斷哪種模型更適合當前任務,以控制呼叫成本並提升回應效率。

後台分配模型請求

這套系統被安永稱為「無形路由器」。它目前接入部分專業 AI 工具,主要涵蓋稅務、風險等部門場景,並未全面用於所有內部產品,也不適用於全員開放的 Microsoft Copilot 聊天工具。

根據安永的說法,員工仍然像平常一樣輸入提示詞並獲得結果,但後台會根據任務複雜度,把請求導向不同模型。對於一些不需要高階推理的任務,系統會避免直接呼叫更昂貴、反應較慢的大模型。

安永全球諮詢 AI 負責人 Dan Diasio 表示,較重型模型通常需要更多推理過程,因此返回結果所需時間也更長。路由機制的作用,是把高成本模型留給更需要它的工作場景。

Token 計費推動企業控費

隨著 AI 服務商越來越多採用按 Token 計費,企業對模型使用成本的關註明顯上升。文章提到,從今年 2 月到 6 月,OpenAI、Anthropic 和 GitHub 都推出了與 Token 使用量掛鉤的定價方式,企業若把高性能模型用於簡單任務,費用可能迅速增加。

安永援引本週發布的美國 AI Pulse 調查稱,在 534 名美國企業高級決策者中,82% 的受訪者對 Token 使用量表示擔憂。調查時間為 4 月至 5 月。

Dan Diasio 認為,許多企業突然出現高額帳單,不一定來自大規模普遍使用,而可能集中在少數員工持續用錯工具。路由系統的目標,就是減少這類浪費。

企業AI管理轉向預算階段

安永稱,路由器配合培訓和治理措施實施後,自 4 月上線以來,Token 消耗最多下降 60%。公司同時按職位和部門設定 Token 預算,超出額度的員工需要經過批准才能申請更多使用量。

安永在同一份調查中也稱,64% 的受訪高階主管表示,其所在機構已經開始監測 AI Token 使用情況,並設定了明確的預算限制。 Diasio 預計,這一比例未來幾個月還會持續上升。

他也表示,企業下一階段不只是追蹤員工用了多少 AI,還會更關注投入是否帶來實際產出,包括是否縮短任務完成時間,以及是否推動員工承擔新的工作內容。

打賞
$0
點讚
0
收藏
0
瀏覽量 715
幣界網提醒,請廣大讀者理性看待區塊鏈,切實提高風險意識,警惕各類虛擬代幣發行與炒作,站內所有內容僅係市場資訊或相關方觀點,不構成任何形式的投資建議。如發現站內內容含敏感資訊,可點擊“舉報”,我們會及時處理。
提交
評論 0
最熱
最新
還沒有人評論喔~快搶沙發吧!
相關閱讀
Runway推出媒體模型路由器,押註生成式AI基礎設施
Runway發布生成式媒體模型路由工具,試圖從單一模型供應商轉向 AI 基礎架構平台。
TechCrunch
·2026-07-24 01:28:33
460
web3: 外媒:塞勒稱比特幣最大風險來自內部改規則
塞勒稱,比特幣長期風險主要來自內部修改共識規則,而非外部競爭或政府壓力。
crypto.news
·2026-07-29 06:03:20
768
馬斯克稱人類或在十年內失去對AI控制
馬斯克稱 AI 或在五年內超過全人類智力,並建議頭部 AI 公司在模型發布前進行安全互查。
Decrypt
·2026-07-28 17:12:24
360
祖克柏稱五年內數十億人將擁有個人AI代理
祖克柏稱,未來五年內數十億人將擁有個人AI代理,Meta正圍繞著訊息平台和資料中心擴大AI投入。
TechCrunch
·2026-07-30 07:15:45
457
OpenAI重新吸收Lilian Weng負責內部研究
Lilian Weng 離開 Thinking Machines 後重返 OpenAI,將帶領團隊推進內部研究協作與遞歸自我改進相關工作。
TechCrunch
·2026-07-30 05:14:33
278