直接答案
缓存命中率可以用“缓存命中的输入 Token ÷ 总输入 Token × 100%”估算。真正结算应以 API usage 中的缓存 Token 数据为准;没有监控数据时,不建议直接假设 90% 命中。
先记住这四点
- 稳定内容放在输入前部
- 动态问题放在最后
- 避免前缀中的时间戳和随机值
- 用真实 usage 数据持续校准
什么内容更容易命中缓存
缓存依赖相同输入前缀。系统提示、格式约束、固定示例和长背景资料适合放在前面,每次变化的用户问题放在后面。如果固定内容中混入请求 ID、当前时间或随机顺序,后续相同文档也可能无法复用。
怎样把命中率用于预算
从一段时间内汇总 Cache Hit 与 Cache Miss Token,计算加权平均命中率,再代入日调用量。新业务可以先用 0%、50% 和 80% 三档做敏感性分析,而不是只给一个乐观数字。
常见问题
缓存是必须手动开启的吗?
应以当前官方文档为准。本站计算器只负责按命中率估算费用,不会替你的 API 请求开启或关闭缓存。
命中率越高,输出费用也会下降吗?
缓存主要影响输入计费;输出 Token 仍按对应输出价格计算。