大模型 Prompt Caching 缓存价格对比与选型指南

Prompt Caching（提示词缓存）是一项允许 API 厂商在云端节点上缓存您输入中重复使用部分的机制。当您连续发送包含相同前缀的请求（如相同的 System Prompt、相同的参考文档、或多轮对话中的历史记录）时，模型无需对已被缓存的部分重新进行计算，从而大大降低了计算开销和延迟。

通常，大模型计费中，输入 Token 的计算成本是主要的开销源。通过启用缓存，厂商可以以极低的价格计费（称为缓存输入价），从而给开发者带来巨大的降本空间。

• 多轮长对话 (Long Chat)：在客服机器人、AI 伴侣等场景中，每一轮对话都需要携带之前所有的历史消息。如果开启缓存，历史消息首次写入后，后续命中部分可按厂商公布的缓存价计费。
• 长文档 / 知识库分析 (RAG)：当您让 AI 针对一本几十万字的书籍或几百页的代码库反复提问时，如果将整本书/代码库放在 Prompt 的最前部，每次提问只需要支付新问题的 Token 原价，背景文档全部命中缓存，成本骤降。
• 复杂 Agent 系统：智能体系统往往需要携带非常冗长、包含数百个 Step / Tools 定义的 System Prompt。对于这种“大系统提示词”，提示词缓存几乎能提供 90% 恒定的折扣。