大模型成本监控：Token、缓存与重试的逐任务成本账本

本文提供建立逐任务成本账本的实操指南，涵盖Token监控、缓存优化和预算告警，帮助您识别成本黑洞并有效控制大模型调用支出。

为什么需要逐任务成本账本

大模型API调用成本并非单一费用，而是由Token费用、缓存费用、重试费用等多个部分构成。

Token费用按输入和输出分别计费，输入Token通常更便宜，但长上下文或复杂提示会迅速累积；缓存费用发生在使用提示缓存或语义缓存时，虽然命中缓存可降低延迟和成本，但未命中时仍需支付完整计算费用；重试费用则源于网络超时、限流或模型返回错误时的自动重试，每次重试都意味着额外Token消耗。

这些成本分散在每次调用中，若不加以追踪，很容易在月底账单上看到意外支出。

逐任务追踪成本的核心价值在于将成本归因到具体业务场景或功能模块。例如，一个客服机器人可能包含意图识别、知识检索、回复生成等多个子任务，每个子任务使用不同模型和提示模板，成本差异显著。通过为每个任务分配唯一ID并记录其模型、Token、缓存、重试等维度，您可以清晰看到哪个任务消耗了最多预算，哪个任务因频繁重试导致成本飙升。

这种粒度分析是识别成本黑洞的基础——成本黑洞并非指某次调用异常，而是指那些因设计不当或缺乏监控而持续浪费资源的任务模式。

搜索结果显示，许多开发者在实践中遇到“成本黑洞”和“幽灵扣费”问题，例如某次调用因未设置超时导致无限重试，或缓存未生效导致重复计算。这些痛点表明，仅依赖云服务商提供的总账单无法定位问题根源。逐任务成本账本提供了一种结构化的方法，让您能够按任务、按版本、按时间维度审查成本，从而快速发现异常模式。

例如，若某任务在版本升级后Token消耗激增，账本中的版本号字段可帮助您对比不同版本的输入输出分布，定位是提示词变化还是模型行为改变所致。

建立成本账本并非一次性工作，而是需要融入日常开发流程。建议从最小可行账本开始，记录核心字段（如任务ID、模型、Token数），然后逐步增加缓存命中率、重试次数等高级指标。账本数据可来源于API响应中的usage字段、日志系统或专门的监控工具。关键在于保持数据的一致性和可追溯性，确保每次调用都能关联到唯一任务。

当账本积累足够数据后，您便能设定合理的预算基线，并为每个任务分配成本配额，实现主动的成本治理。

Token成本监控：从输入到输出

Token是LLM计费的基本单位，但输入Token和输出Token的计费方式不同。输入Token指用户发送给模型的提示内容，包括系统消息、历史对话和用户输入；输出Token指模型生成的回复内容。通常，输出Token单价高于输入Token，因为生成过程需要更多计算资源。例如，某主流模型输入每百万Token收费5美元，输出每百万Token收费15美元，这意味着即使输出Token数量较少，其成本占比也可能很高。

因此，监控Token消耗时，必须分别记录输入和输出，而不能仅看总数。

记录Token消耗的最直接方法是利用API响应中的usage字段。大多数LLM提供商（如OpenAI、Anthropic）在每次调用返回的元数据中包含prompt_tokens和completion_tokens，分别对应输入和输出Token数。您可以在代码中解析该字段，并将其写入日志或数据库。例如，使用Python时，可提取response.usage.prompt_tokens和response.usage.completion_tokens，然后与任务ID关联存储。对于流式响应，部分提供商支持在流结束时获取累计Token数，需注意实现细节。此外，若使用第三方库或网关，需确认其是否透传usage信息。

设置Token使用阈值是成本监控的关键步骤。阈值可基于任务类型和预算设定，例如，对于简单分类任务，单次调用输出Token不应超过100；对于长文档生成，输出Token可能达到2000。当单次调用Token数超过阈值时，应触发告警，通知开发人员检查是否出现异常（如提示词过长、模型陷入重复循环）。阈值可设置为绝对值或相对值（如超过历史平均值的2倍）。告警可通过邮件、Slack或Webhook发送，确保及时响应。

除了单次调用阈值，还应监控Token消耗的长期趋势。例如，按小时或按天汇总每个任务的Token总量，观察是否随业务增长而线性增加，或出现突刺。若某任务Token消耗突然翻倍，可能原因是提示词被意外修改、输入数据量增加或模型版本更新。通过账本中的版本号字段，您可以对比不同版本的Token分布，快速定位变化来源。

此外，建议定期审查提示词设计，移除冗余内容，压缩历史对话，以降低输入Token消耗。

Token监控的另一个重要方面是区分有效Token和浪费Token。浪费Token包括因重试产生的重复调用、因缓存未命中导致的重复计算、以及因模型输出过长但实际未被使用的部分。例如，若您将模型输出直接存储但从未展示给用户，这些输出Token即为浪费。通过记录每次调用的实际用途（如是否被用户查看），您可以计算有效Token利用率，并据此优化任务设计。

缓存命中：降低成本的关键杠杆

缓存是降低大模型成本的有效手段，其核心思想是复用已计算的结果，避免重复调用模型。常见的缓存类型包括提示缓存（Prompt Caching）和语义缓存（Semantic Caching）。提示缓存适用于固定前缀的提示，如系统指令或少量示例，提供商可缓存这些前缀的中间状态，从而降低输入Token费用和延迟。

语义缓存则基于嵌入相似度，将用户查询与历史查询匹配，若相似度超过阈值，则直接返回缓存答案，而无需调用模型。

可调整示例假设：

优化缓存策略可从多个方面入手。首先，对于提示缓存，应尽量将静态内容（如系统指令、示例）放在提示开头，并保持其不变，以提高前缀复用率。其次，对于语义缓存，需选择合适的嵌入模型和相似度阈值。阈值过高会降低命中率，过低则可能导致错误匹配。建议通过实验调整阈值，并监控命中率和答案准确性的平衡。

此外，缓存过期时间需根据业务数据更新频率设定，对于频繁变化的数据（如实时价格），缓存时间应缩短；对于稳定数据（如产品说明），可延长缓存时间。

缓存命中率对成本的影响可通过账本中的字段直观体现。在成本账本模板中，缓存命中率字段记录每次请求的命中状态（命中/未命中），结合Token数可计算节省的成本。例如，若某任务未命中时平均消耗500输入Token，命中时仅消耗50 Token（用于缓存查询），则每次命中节省450 Token。通过汇总命中次数，可估算总节省额。

此外，缓存未命中可能源于缓存预热不足或缓存驱逐策略，需监控缓存容量和淘汰率，确保常用条目不被过早移除。

值得注意的是，缓存并非万能。对于需要高度个性化或实时性的任务（如生成用户专属内容），缓存可能不适用。此外，缓存引入的额外延迟（如语义缓存查询）可能影响用户体验，需权衡成本与性能。因此，建议为每个任务单独评估缓存适用性，并在账本中记录缓存策略的变更，以便分析其对成本和响应时间的影响。

### 成本账本模板示例

以下是一个可用的成本账本模板，您可以根据实际需求调整字段。请为每次API调用创建一条记录，并定期汇总分析。

| 任务ID | 模型名称 | 输入Token数 | 输出Token数 | 缓存命中率 | 重试次数 | 失败步骤 | 版本号 | 总成本 |
|——–|———-|————|————-|————|———-|———-|——–|——–|
| [填写] | [填写] | [填写] | [填写] | [填写] | [填写] | [填写] | [填写] | [填写] |

**字段说明**：
– **任务ID**：唯一标识业务任务，如“客服-意图识别”。- **模型名称**：使用的模型版本，如“gpt-4o-mini”。- **输入Token数**：从API响应中获取的prompt_tokens。- **输出Token数**：从API响应中获取的completion_tokens。- **缓存命中率**：记录本次调用是否命中缓存，可填“命中”或“未命中”，或填写百分比（若为聚合数据）。- **重试次数**：本次调用因错误或超时重试的次数。- **失败步骤**：若调用失败，记录失败发生的阶段（如“网络请求”、“模型生成”）。

– **版本号**：任务代码或提示词的版本标识，便于追溯变更。- **总成本**：根据Token单价和缓存折扣计算的实际费用。

使用该模板时，建议每日或每周汇总数据，计算各任务的平均Token消耗、缓存命中率和重试率，并设置告警阈值。例如，若某任务重试率超过5%，应检查错误日志并优化重试策略。

重试与失败步骤的成本追踪

在调用大模型API时，重试机制是常见的容错手段，但每次重试都会产生额外的Token消耗，直接推高成本。要有效追踪这部分成本，首先需要理解重试是如何发生的。通常，重试发生在请求超时、服务端返回5xx错误、或客户端检测到响应不符合预期时。例如，当模型输出格式错误或内容不完整，开发者可能会选择重新调用一次。

每一次重试都意味着输入Token的重复计算（如果请求体未变）以及新的输出Token生成，因此成本会成倍增加。

为了准确记录重试成本，建议在日志中为每次API调用分配一个唯一的请求ID，并关联到任务ID。当发生重试时，记录重试次数、重试原因（如超时、限流、内容审核失败等）、以及每次重试的Token消耗。这样，在成本账本中，可以单独列出“重试成本”一栏，汇总因重试产生的额外费用。

例如，假设一个任务正常调用需要1000个输入Token和500个输出Token，如果因超时重试了两次，那么总输入Token变为3000，输出Token变为1500，成本增加三倍。

减少不必要重试的策略之一是采用指数退避算法。当遇到临时性错误（如限流）时，不要立即重试，而是等待一段时间（如1秒、2秒、4秒）再尝试，这样可以降低服务端压力，减少连续失败的概率。此外，对于非关键任务，可以设置最大重试次数（如3次），超过后放弃并记录失败。另一种策略是使用缓存：如果请求的输入相同，且对实时性要求不高，可以缓存之前的响应，避免重复调用。

但需注意，缓存本身也有成本（如存储），且可能影响结果的准确性，因此需要权衡。

失败步骤的成本追踪同样重要。当任务流程包含多个步骤（如先调用模型A进行意图识别，再调用模型B生成回答），如果某个步骤失败，后续步骤可能不会执行，但已消耗的Token仍需计入成本。因此，账本中应记录每个步骤的调用情况，包括成功或失败，以及失败时的错误信息。这样，在分析成本时，可以识别出哪些步骤经常失败，从而优化流程或调整模型参数。

建立预算阈值与停止规则

为了控制成本，必须为每个任务或项目设置预算上限。预算阈值可以基于历史消耗或业务预期设定，例如，每个任务每月不超过1000元，或每次调用不超过0.5元。设置阈值后，需要建立监控机制，实时跟踪成本消耗。当成本接近阈值时，系统应发出告警，提醒负责人注意。

可调整示例假设：停止规则是成本控制的最后一道防线。当成本超过阈值时，系统应自动暂停任务或降级处理。例如，可以设置硬性停止：一旦成本达到阈值的80%，就暂停新的调用，直到人工介入。另一种方式是降级：对于非关键任务，当成本过高时，切换到更便宜的模型（如从GPT-4降级到GPT-3.5）或减少调用频率。

可调整示例假设：告警通知的设置方法包括：通过邮件、短信、或即时通讯工具（如钉钉、企业微信）发送通知。在设置告警时，应明确告警级别（如警告、严重）和接收人。例如，当成本达到阈值的50%时，发送警告邮件给项目负责人；达到80%时，发送严重告警并自动触发停止规则。

实施这些规则时，需要依赖API提供商的成本管理工具或第三方监控平台。例如，OpenAI提供了Usage Dashboard，可以查看每日消耗，并设置预算警报。但为了更精细的控制，建议在应用层实现自己的监控逻辑，因为API提供商通常只提供账户级别的汇总，无法按任务或用户细分。

成本账本模板与实施步骤

为了系统性地追踪成本，建议使用一个结构化的账本模板。以下是一个推荐的字段列表，您可以根据实际需求调整：

| 任务ID | 模型名称 | 输入Token数 | 输出Token数 | 缓存命中率 | 重试次数 | 失败步骤 | 版本号 | 总成本 |
|——–|———-|————-|————-|————|———-|———-|——–|——–|
| | | | | | | | | |

**字段说明：**
– **任务ID**：唯一标识一个业务任务，用于关联多个API调用。- **模型名称**：使用的模型版本，如gpt-4o或claude-3.5-sonnet。- **输入Token数**：该任务所有调用的输入Token总和。- **输出Token数**：该任务所有调用的输出Token总和。- **缓存命中率**：缓存命中的请求比例，反映缓存优化效果。- **重试次数**：因错误而重试的总次数。- **失败步骤**：记录任务流程中失败的步骤名称或编号。- **版本号**：应用或提示词的版本，便于追踪变更对成本的影响。

– **总成本**：根据Token数和单价计算出的总费用。

**实施步骤：**
1.**确定成本计算方式**：根据所选模型的定价，计算每1000个Token的费用。例如，假设输入Token单价为0.003美元/千Token，输出为0.004美元/千Token，则总成本 = (输入Token/1000)*0.003 + (输出Token/1000)*0.004。2.**记录每次调用**：在应用代码中，每次API调用后，将请求ID、任务ID、模型、Token数、缓存命中情况、重试次数等信息写入日志。3.**汇总到账本**：定期（如每日或每小时）将日志汇总到电子表格或专用工具中，按任务ID聚合。4.

**设置预算阈值**：根据历史数据或业务预期，为每个任务设置预算上限，并配置告警。5.**定期审查**：每周或每月审查账本，分析成本趋势，识别异常消耗，优化提示词或模型选择。

**工具选择**：您可以使用电子表格（如Excel或Google Sheets）手动记录，也可以使用开源工具如Grafana或商业平台如Datadog。对于自动化，建议使用API网关或中间件来捕获调用数据。

**示例（仅用于说明，非真实数据）**：假设一个任务ID为T001，使用模型gpt-4o，输入Token为10000，输出Token为2000，缓存命中率为0%，重试2次，失败步骤为“步骤2”，版本为v1.0，则总成本为(10000/1000)*0.003 + (2000/1000)*0.004 = 0.03 + 0.008 = 0.038美元。

通过实施上述模板，您可以清晰地看到每个任务的成本构成，及时发现成本黑洞，并采取优化措施。

下一步

立即下载成本账本模板，开始追踪您的LLM成本。