Pi 開始為 Prompt 提供緩存自動續命服務,長時間任務可減少重複消耗 Token
2026-09-20 18:04:58
幣界網消息,Pi agent harness 發布0.86.0,新增 prompt cache warming。agent 在長時間工具任務時,Pi 會在緩存即將過期前重新發送上次請求,只生成1個 token,保留已緩存的长上下文。許多模型服務在一段時間沒有請求後會清除 prompt cache,繼續任務時同一大段上下文可能會重新按完整輸入計費。Pi 現在會主動避免這種 cache miss,但不會無腦保活,只有預計避免的 cache miss 成本減去刷新成本後,至少省0.05美元時,才會發起刷新。每次刷新仍需支付整段緩存讀取和1個輸出 token 的費用。
利好 0
利空 0
來源:互聯網
本內容只為提供市場資訊,不構成投資建議。