額度與用量
每月 token 額度涵蓋哪些項目、用完會發生什麼事,以及去哪裡看用量。
什麼會計入額度
你的方案設定了一個每月 token 額度,計算的是底層語言模型在你租戶的對話中消耗的 token,輸入與輸出都算,涵蓋所有管道與 API。檢索、文件儲存與管道派送不佔用額度。
額度用完會怎樣
額度用盡後,對話請求會回傳 429 並附上一段人看得懂的訊息,小工具則會向客戶顯示禮貌的「暫時無法使用」提示。不會有任何資料被刪除;等下個月週期開始額度重置,或你升級方案,對話就會恢復。
升級即時生效,方案一變更新額度就上線,忙碌的一個月不必以沉默收場。
查看用量
儀表板會顯示租戶層級的消耗狀況:
- 每日用量 — 本週期內每天的 token 用量,讓尖峰及早被看見。
- 依後端區分 — 當你同時使用多個模型或供應商時,可分別檢視消耗量。
同樣的數字也可以透過管理 API 取得,方便你把警示接進自己的監控系統。
省成本的習慣
- 把代理的範圍收窄。 一份收得緊的行動指南,產生的對話比什麼都能聊的人設更短、也更便宜。
- 注意
k值。 每個問題檢索越多片段,輸入 token 就越貴;預設值已針對常見文件調校過。 - 封存不再使用的空間,例如已流失客戶的空間,記憶檢索才能保持快速而精準。