Skip to content

缓存机制 ​

什么是 Prompt Cache ​

提示词缓存复用已处理的输入片段;响应缓存则直接返回旧答案,两者不同。命中提示词缓存仍会生成新回复,不能等同于请求免费。

是否支持、怎样触发、有效期和价格,取决于具体模型与本站渠道。本站文档不承诺统一缓存时长、固定折扣或请求原样透传。

使用方式 ​

保持可复用的系统说明、工具定义和上下文前缀稳定,在后面追加本次变化内容;不要为了缓存省略必要信息。该做法不能保证每次命中。

如何确认 ​

在实际响应 usage 和使用日志中查缓存字段;不存在相关字段时,不能凭响应快慢或费用猜测命中。缓存命中与本站账单是否采用折扣也须分开核对。

遇到疑问见 缓存排查。