多模型路由采购清单：选型前该问的 8 个问题
多模型路由的价值是让不同任务用合适的模型，并在某个模型出问题时有备选路径。但采购时很容易只看“支持多少个模型”，忽略了路由在真实工作流里会碰到的几类摩擦：中途换模型后上下文是否还有效、缓存会不会被打散、账单能不能按模型拆开、故障切换的规则是否可解释。本文面向 AI 工作流负责人，整理选多模型路由前该问的 8 个问题，并对照 Anthropic 与 OpenAI 的官方文档（核验日期 2026-09-20）说明每个问题为什么值得问，最后给出一个可以直接打分的清单。
先看总览。下表把每个问题对应的关注点、期望得到的答案形态和需要警惕的信号放在一起，可以直接带进供应商沟通或内部评审。
| 编号 | 要问的问题 | 期望的答案形态 | 需要警惕的信号 |
|---|---|---|---|
| 1 | 路由按什么依据选模型 | 能按任务类型、成本、故障状态配置，规则可查看 | 只说“智能选择”，讲不出规则 |
| 2 | 故障切换如何判定 | 区分限流、过载、超时，各有重试与切换规则 | 所有错误一律重试或一律切换 |
| 3 | 对话中途换模型，上下文怎么处理 | 说明思考内容、工具调用记录的处理方式 | 没有考虑过这个场景 |
| 4 | 路由会不会破坏缓存 | 有会话粘性或缓存友好的策略 | 每次请求都可能换模型 |
| 5 | 用量与账单能否按模型拆分 | 输入、缓存、输出、思考分别可查 | 只给一个总数 |
| 6 | 限流与额度如何叠加 | 说明各模型限额是否独立，以及团队额度的分配方式 | 把上游限额说成“不受限” |
| 7 | 数据经过哪些环节，日志保留多久 | 有书面说明，可追问到具体环节 | 只有口头承诺 |
| 8 | 如何退出，日志能否导出 | 接口格式通用，请求编号可透传，数据可导出 | 只能在专有格式里使用 |
路由与故障切换：问题 1 与问题 2
问题 1：路由按什么依据选模型
路由至少有三类依据：任务类型（简单问答与复杂推理走不同模型）、成本（在质量达标时选便宜的）、故障状态（某模型不可用时切换）。采购时要确认这些依据是否可配置、是否可查看每次请求为什么被路由到某个模型。不可解释的路由，出了问题就无法复盘。
问题 2：故障切换如何判定
官方文档对错误的分类很清楚：Anthropic 的 429 是你的速率或额度触顶，529 是服务端暂时过载，504 是超时；OpenAI 也把速率限制、额度耗尽与 503 过载区分开。路由层如果把它们混为一谈，就会在额度耗尽时白白重试，或者在只是短暂限流时过早切换。要问清楚：每类错误的重试次数、退避方式、切换阈值分别是什么，是否遵循 retry-after。
上下文与缓存：问题 3 与问题 4
问题 3：对话中途换模型，上下文怎么处理
这是最容易被忽略的一题。Anthropic 文档说明：带工具调用的推理对话中，助手轮次里的思考块必须原样传回，被修改、重排或删除会返回 400；在 Claude Fable 5.1 上，回放的思考块只有在此前的系统提示、工具和消息都没变时才被接受，历史发生变化的块会被拒绝或按设置丢弃，来自目标模型无法读取的模型的块则会被丢弃。此外，部分较新的模型不再支持对助手消息预填，也不支持强制工具调用。这些差异意味着，对话中途从一个模型切到另一个，路由层必须做格式转换或降级处理，否则请求会直接报错。
问题 4：路由会不会破坏缓存
缓存是按模型和前缀分别建立的。Anthropic 文档说明，工具定义、思考配置等变化会使缓存失效；OpenAI 与 Anthropic 的缓存有效期与最小长度也各不相同，例如 Anthropic 默认 5 分钟，而 OpenAI 较新模型为最近一次写入或复用后 30 分钟。路由如果在同一会话内频繁换模型，每次都要重新写入缓存，节省就会打折扣。要问的是：是否有会话粘性，能否让同一会话尽量固定在同一模型，只在故障时才切换。
计费与额度：问题 5 与问题 6
问题 5：用量与账单能否按模型拆分
不同模型的单价、缓存折扣、推理占比都不同，只有一个总数的账单没法用于成本复盘。应确认是否能按模型、按团队、按应用查看输入、缓存读写、输出与思考各自的 Token 数，并能与上游账单对得上。第三方转售或聚合时，还要问清楚计费单位与上游是否一致，因为不同厂商的分词方式不同，同一段文本的 Token 数并不相同。
问题 6：限流与额度如何叠加
Anthropic 文档说明，速率限制按模型分别计算，不同模型可以同时各自用满；缓存读取对多数模型不计入每分钟输入限额。路由聚合多个上游时，要问清楚是各上游限额独立叠加，还是被统一收口，团队成员之间的额度如何分配、触顶时是排队、降级还是直接拒绝。任何把上游限额描述成没有限制的说法，都需要要求书面依据。
治理与退出：问题 7 与问题 8
问题 7：数据经过哪些环节，日志保留多久
路由层位于你与模型厂商之间，请求内容会经过哪些环节、是否落盘、保留多久、是否用于其他用途，都需要书面说明。厂商文档中也有数据保留与数据驻留相关的章节，例如 Anthropic 有针对不同功能的零数据保留说明和推理地域参数，路由层的承诺不应低于你已经依赖的上游条款。这部分不要凭印象判断，逐条追问到具体环节。
问题 8：如何退出，日志能否导出
评估退出成本要看三点：接口格式是否通用，业务代码能否只改地址与密钥就迁走；请求编号是否透传，出问题时能否拿着上游的 request-id 联系厂商；历史日志与用量数据能否导出。Anthropic 的每个响应都带有 request-id，透传它对排障很有价值。
试点验证：用真实流量打分
- 选一类真实工作流，例如长文档问答或代码评审，准备 50 条代表性请求。
- 人为制造三种故障：模拟限流、模拟上游过载、模拟超时，记录路由层的反应与切换耗时。
- 设计一段包含工具调用与推理的多轮对话，在中途强制换模型，检查是否报错、上下文是否丢失。
- 对比开启路由前后的缓存命中率与总成本，拆到按模型的粒度。
- 导出一份日志与用量，核对与上游账单是否一致。
打分方式建议：每题 0 到 2 分，0 分表示没有答案或答案无法验证，1 分表示有答案但需要额外配置或存在限制，2 分表示答案清楚且试点中验证通过。8 题满分 16 分，可以先约定 12 分作为进入正式采购的参考线，这个分数线只是起点，应按业务风险调整，涉及敏感数据的团队应对问题 7 设置单独的一票否决。
总结：先问清楚，再谈接入
多模型路由的价值取决于故障切换、上下文兼容、缓存策略和账单透明度，而不是模型数量。这份清单适用于任何路由方案，包括 Tonbo AI 的多模型路由，建议在试用阶段逐条验证，再决定接入范围与额度方式。用量确定之后，可以对照 Tonbo AI 的团队 Token 池、Token 套餐与按量充值，选择与你的调用曲线相匹配的组合。
延伸阅读
