主题
提示词缓存复用已处理的输入片段;响应缓存则直接返回旧答案,两者不同。命中提示词缓存仍会生成新回复,不能等同于请求免费。
是否支持、怎样触发、有效期和价格,取决于具体模型与本站渠道。本站文档不承诺统一缓存时长、固定折扣或请求原样透传。
保持可复用的系统说明、工具定义和上下文前缀稳定,在后面追加本次变化内容;不要为了缓存省略必要信息。该做法不能保证每次命中。
在实际响应 usage 和使用日志中查缓存字段;不存在相关字段时,不能凭响应快慢或费用猜测命中。缓存命中与本站账单是否采用折扣也须分开核对。
遇到疑问见 缓存排查。