最後更新於 2026 年 8 月 3 日;費率與快取機制核實自 Kimi API 官方定價頁、Context Caching 官方文件 及官方故障排查說明。
Kimi K3 Context Caching 只有在多個請求重用穩定的初始上下文時,才可能明顯降低輸入成本。官方文件指出,前一次請求的提示 Token 超過 256 才有機會形成前綴快取;這不是固定折扣,也不是只要重複傳送大型文件就必然省錢。
本週建議動作:
- 今天匯出最近的 Kimi K3 API 請求日誌。
- 接下來三天分開統計快取命中輸入、未命中輸入、輸出與重試請求。
- 本週先改造一個固定文件或程式碼 Agent。
- 七天後以「每個成功任務成本」比較,而不是只看單次請求費用。
這篇適合三類讀者:
每次請求都重複傳送大型系統提示的 Agent 開發者,需要確認自動快取是否真的命中。
處理固定文件集或程式碼庫的團隊,需要估算重複上下文的成本邊界。
準備擴展使用者量的 AI SaaS 負責人,需要把模型費用、任務重試與執行環境成本分開計算。
先拆開 Kimi K3 Context Caching 的成本公式
Kimi K3 API 的成本不能只看輸入 Token 總量。你至少要拆成未命中輸入、快取命中輸入、輸出,以及重試和工具循環造成的額外請求。不同計費欄位與當日費率,應以官方定價說明為準。
實際任務成本
= 未命中輸入 Token × 未命中費率
+ 命中輸入 Token × 命中費率
+ 輸出 Token × 輸出費率
+ 重試與工具循環產生的費用
若你要估算節省比例,可以使用:
估算節省比例
=(未使用快取的基準成本 − 實際成本)
÷ 未使用快取的基準成本
基準成本必須來自同一模型、同一批請求、相近的輸出設定。不要用快取命中率直接代替成本節省率,也不要把任務成功率混入命中率。
官方說明的重點是:Kimi API 會自動嘗試重用重複的初始上下文,不需要你額外建立快取 ID、TTL 或加入專用參數。自動處理不代表必然命中,訊息順序、前綴變動和帳單欄位仍然要驗證。
提醒: 沒有實際 usage 或帳單資料時,不要填入固定金額,也不要宣稱某個快取比例。此時只能建立變數公式,不能把估算寫成實測結果。
第一步:把穩定系統提示放到請求前段
最有機會取得收益的場景,是多個請求共享同一組初始內容,例如:
- Agent 角色規則與安全限制。
- 工具名稱、參數格式和使用規範。
- 固定的程式碼風格。
- 相同的產品說明和輸出格式。
- 長期不變的操作手冊。
你可以把請求拆成三層:
固定層:系統規則、工具定義、穩定的知識資料
半固定層:租戶權限、專案設定、文件版本
動態層:使用者問題、工具結果、當輪狀態
固定層越穩定,越適合放在前綴。半固定層應加入版本識別。動態層則放在後段,不要為了追求快取而把每輪變動資料硬塞進固定區塊。
你的請求日誌至少應記錄:
request_id- 模型名稱
- 請求時間
- 輸入 Token
- 輸出 Token
- 快取命中或未命中輸入
- HTTP 狀態碼
- 重試次數
- 最終任務是否成功
若控制台只顯示總 Token,先不要宣稱快取已經省錢。可用官方 Token 估算文件建立基準,再與 API 回應中的 usage、請求識別碼和帳單記錄核對。開始整理執行節點、佇列與日誌權限前,也可先參考VPSSpark 幫助中心的環境管理說明,避免把模型費用和伺服器維護混在同一筆成本中。
第二步:固定文件要處理前綴漂移
知識庫問答和程式碼 Agent 常見一個錯誤:以為文件內容相同,就代表一定可以重用快取。
以下變化都可能使前綴不再一致:
- 文件切片順序改變。
- 每次請求在最前面加入目前日期。
- 租戶說明插入文件前方。
- 工具清單依權限動態排序。
- 文件版本號放在整段資料最前方。
- JSON 欄位順序不固定。
- 分隔符、空白或標記格式持續變動。
因此,固定文件應先經過穩定化處理。你可以按照固定文件 ID、版本和段落順序組裝內容,把動態條件放在後段。
Context Caching 和 RAG 也不是互相排斥。文件長期不變、請求密集且每次都需要大部分內容時,可以先測試快取。文件經常更新、每次只需少量段落時,檢索與切片通常更容易控制輸入量。
判斷方式如下:
- 固定文件、問題只在後段變化:先測快取。
- 文件經常更新、查詢範圍分散:先測 RAG。
- 文件固定但權限差異大:共享通用前綴,隔離租戶資料。
- 內容涉及敏感資料:不要為了節省 Token 跨租戶重用。
第三步:把長會話拆成固定與新增內容
長上下文任務不代表一定更便宜。
程式碼 Agent 在第一輪可能傳送系統規則、工具定義、程式碼資料和使用者任務。第二輪通常會增加模型回覆、工具輸出、錯誤紀錄和新檔案內容。只有穩定的初始部分具備重用價值,後續新增內容仍會增加輸入 Token。
每輪輸入
= 可重用固定前綴
+ 未命中或新增的對話內容
+ 工具輸出
+ 當輪使用者問題
官方資料列出 Kimi K3 支援最高 1M Token 上下文,但容量上限不是免費額度,也不代表把所有資料塞進單一請求就是最低成本方案。長會話仍應監控摘要策略、工具輸出長度和重試次數。
你可以做兩組控制測試:
固定前綴測試
- 系統提示不變。
- 工具定義不變。
- 文件版本不變。
- 只替換使用者問題。
- 比較第二次以後的命中輸入。
會話增長測試
- 保留相同固定前綴。
- 每輪加入實際模型回覆和工具結果。
- 記錄每輪新增 Token。
- 以成功任務計算總成本。
若固定前綴能命中,但每個成功任務成本仍上升,問題可能不在快取,而在對話歷史過長、工具輸出過多或 Agent 缺乏摘要。
第四步:多租戶先畫出資料隔離邊界
多租戶 AI SaaS 會讓快取復用變得複雜。每個租戶可能有不同系統提示、權限規則、知識文件、品牌語氣和工具設定。
建議採用三層結構:
共享基礎層:通用安全規則、工具協定、輸出格式
租戶隔離層:權限、私有文件、帳戶設定
請求動態層:問題、當輪工具結果、短期狀態
共享基礎層可以提高跨請求復用。租戶隔離層則必須有明確識別、版本控制和撤銷流程。敏感資料不能因追求快取而跨租戶共用。
你也要把維護時間納入成本。前綴版本、權限變更、文件更新和稽核記錄,都可能需要工程資源。若每次小改動都要重新測量,Token 成本下降未必足以抵銷維護工作。
第五步:把重試和工具循環算進成功任務
Kimi 官方故障排查說明列出,部分 SDK 可能針對連線錯誤、408、409、429 或 500 以上錯誤自動重試;文件中的預設行為可能讓一次操作產生最多 3 次請求。(Kimi API 官方故障排查)
一次 Agent 任務可能包括:
- 初始請求。
- 工具呼叫。
- 工具結果回傳。
- 模型再次判斷。
- 格式修正。
- 超時重試。
- 失敗後重新提交。
即使第二次請求的固定前綴命中,工具結果和新增內容仍可能產生費用。若 Agent 反覆呼叫同一工具,快取優惠也無法抵銷無限循環。
成功任務成本
= 該任務全部 API 請求的輸入成本
+ 全部輸出成本
+ 工具呼叫造成的額外請求
+ 失敗後仍產生的有效請求
不要只看最後一次成功回應的 usage。你要比對狀態碼、request_id、重試紀錄、Agent 任務狀態和控制台帳單。
經驗: 如果你只追蹤快取命中率,可能看不到任務成功率下降、工具迴圈增加或輸出變長。成本監控應同時展示每個成功任務的平均請求數。
方案比較:優化提示、拆分任務還是維持現狀
以下評分是成本可控性、工程複雜度、資料隔離和維護風險的綜合判斷,不是官方性能測試。實際費率仍應回到官方 Kimi K3 定價頁核對。
| 方案 | 適合場景 | 成本判斷 | 工程負擔 | 主要風險 | 評分 |
|---|---|---|---|---|---|
| 固定前綴加自動快取 | 工具、規則和文件反覆重用 | 命中輸入增加時較有機會下降 | 低 | 小幅改動使命中不穩 | 4/5 |
| 固定前綴加版本化 | 文件和規則偶爾更新 | 可追蹤版本成本差異 | 中 | 更新期間可能暫時未命中 | 5/5 |
| RAG 加短上下文 | 文件經常變動 | 每次只送相關資料 | 中至高 | 檢索錯誤影響回答 | 4/5 |
| 全量長會話 | 必須保留完整歷史 | 輸入與工具輸出持續增加 | 低 | 成本和重試容易膨脹 | 2/5 |
| 租戶獨立前綴 | 私有資料差異大 | 只評估租戶內復用 | 高 | 隔離和稽核成本提高 | 3/5 |
用 API 日誌作出擴容決策
沒有真實帳單時,先不要填入固定金額或假設快取比例。建立下表欄位即可:
| 變數 | 定義 | 取得方式 |
|---|---|---|
N |
觀察期間總請求數 | API 閘道或 SDK 日誌 |
F |
可重用固定前綴 Token | 請求內容與 Token 工具 |
H |
快取命中輸入 Token | usage 或帳單欄位 |
M |
未命中輸入 Token | usage 或帳單欄位 |
O |
輸出 Token | API 回應 usage |
R |
重試與額外工具請求數 | 狀態碼與 Agent 日誌 |
S |
成功任務數 | 業務層任務記錄 |
T |
執行環境與維護成本 | 伺服器、佇列和人工紀錄 |
最後比較三個指標:
每成功任務 Token 成本
=(命中輸入 + 未命中輸入 + 輸出與重試 Token)÷ 成功任務數
每成功任務總成本
=(模型費用 + 執行環境費用 + 維護成本)÷ 成功任務數
快取節省比例
=(未使用快取的基準成本 − 實際成本)÷ 基準成本
若命中輸入上升、成功任務數不下降、重試沒有增加,而且每成功任務總成本下降,才值得擴大使用。若只有命中率上升但成功率下降,代表快取和產品效果沒有同步改善。若固定前綴占比高但命中輸入很低,優先檢查訊息順序、版本字串、動態欄位和文件切片。
常見問題:你應如何判斷是否值得改造
Kimi K3 的上下文快取需要手動開啟嗎?
不需要另外建立快取 ID、設定 TTL 或加入專用參數。官方機制會自動嘗試重用重複的初始上下文。你仍要維持前綴穩定,並從 usage、帳單和 request_id 交叉確認是否命中,不能只因請求內容看起來相同就直接計算節省。
哪些輸入 Token 比較容易命中快取?
穩定放在請求前段的系統提示、工具定義、固定文件和程式碼規範,較適合作為可重用前綴。前一次提示 Token 超過 256 是官方文件列出的條件之一。短提示、頻繁重排、動態權限和不固定的 JSON 排序,都會降低可重用性。
提示詞改動後,原本的快取還有效嗎?
不能假設仍然有效。初始上下文任何改動都可能使後續內容無法沿用原有前綴。實務上應把日期、版本、租戶權限和動態指令移到固定區塊之後,再用版本欄位比較命中輸入與未命中輸入。
長上下文任務使用快取一定更便宜嗎?
不一定。只有在固定前綴被多次重用,且輸出、工具呼叫和失敗重試沒有同步增加時,才可能降低總成本。若每輪新增大量對話,或 Agent 重複呼叫工具,快取優惠可能被新增輸入和輸出費用抵銷。
如何用 API 日誌估算快取節省比例?
先按成功任務彙總總請求數、命中輸入、未命中輸入、輸出 Token 和重試次數,再套用官方當日費率。以未使用快取的同批請求作為基準,將基準成本減去實際成本,再除以基準成本。不要把快取命中率當成任務成功率。
最後的取捨:不要只優化 Token 單價
完成 Kimi K3 Context Caching 估算後,你還要把 Agent 的執行環境放進總成本。常見額外支出包括:
- 常駐伺服器或雲端節點租用費。
- 佇列、監控和日誌保存。
- 工具服務、資料庫連線與排程維護。
- 失敗重試、重啟和人工排查時間。
如果你目前把 Agent 跑在個人電腦或臨時雲端環境,常見缺點是連線中斷、背景工作不穩定、重啟後狀態遺失,以及模型帳單和執行環境帳單混在一起。這些成本可能抵銷輸入 Token 的節省。
需要短期測試、臨時擴充或持續運行 Agent 時,租用 VPSSpark 的執行環境可以把節點、連線穩定性和長時間運行條件分開管理。你可以先查看VPSSpark 幫助中心,再把模型費用、伺服器費用和維護時間放進同一張總成本表。
若工作負載長期固定且高密度,應比較自建伺服器與長期租用;若只是驗證快取、測試 Agent 或應付短期流量,租用通常更容易控制回退風險。真正可執行的判斷是:先用日誌證明固定前綴能被重用,再決定優化提示、拆分任務或擴容;不要把自動快取當成固定折扣。
為 AI 工作流程配備穩定的雲端 Mac
透過 VPSSpark 雲端 Mac,遠端執行模型測試、提示詞迭代及自動化開發工作。
無論是個人開發者還是團隊,您都可以按實際工作量選擇合適方案,減少添置及維護硬件的負擔。