大模型调用怎么拆成本：说说模型级联

很多团队一谈降本，第一反应是换小模型，再不然就是砍预算。这两个办法都偏粗暴。另一种更可控的玩法叫模型级联（Model Cascade）：让便宜模型先上，便宜模型"不自信"的时候，再交给贵的处理。

原理

拿意图分类举例。客服消息进来，先走一条两级链路：

一是小模型负责初筛，判断是咨询、报障、投诉还是无效消息。二是如果小模型给出的置信度超过预设阈值，比如 0.9，就直接采用，这一条请求只花便宜模型的 token。三是低于阈值，升级到强模型重新判断，把小模型的判断一并写进上下文供参考。

账很好算：贵的模型单位成本记作 C1，便宜的记作 C2，升级率是 p，那么单条请求平均成本是 C2 + p × C1。如果八成请求被便宜模型消化，升级率 20%，综合成本大约是原来 40% 出头；把阈值调松一点、升级率压到 10%，成本还能再降一截，代价是质量风险上升。

真正的工作量：数据和阈值

级联不是搭好管道就完事，有三件工程活绕不开。

**定升级条件。** 模型自报的置信度最直观，但不少推理框架要么不输出 logits，要么要按温度重新归一化才勉强能用。可以退一步用启发式：同样的问题小模型采样两次给出不同答案，视为不自信；输出过短、漏了必填字段、不符合格式约束，也直接升级。这些规则比裸置信度稳，因为置信度会随提示词微调漂移。

**攒黄金集。** 从历史请求里抽五百到一千条，让强模型给出参考答案，再让便宜模型在同一集合上跑一遍。你调的其实是阈值曲线：升级率多高时，答对率降幅能控制在可接受范围，比如 1% 以内。没有这个集合，阈值就是拍脑袋，切流之后全靠线上报错兜底。

**给贵的模型留后路。** 升级链打满、强模型超时或报错时怎么办？返回小模型的结果，还是明确说"无法判断"？客服场景也许可以兜底，但涉及合规或金钱的场景，悄悄用便宜模型冒充贵模型回答是事故。这个策略必须在切流前定死，写进告警。

什么情况别上

三种场景，级联反而亏：

一是上游流量本来很小，一天不到几百条请求，调通它花的人天比省下的 token 钱多。二是任务强串行，比如长文翻译，便宜模型出初稿，贵模型还得整篇过一遍，"先便宜再贵"的总成本可能比直接调贵模型还高。三是从没测过升级率，纯靠猜想设计链路，那就先把日志埋好，量出真实分布再说。

最小落地路径

想试的话，四步就够。选一个日请求量一千条以上、有明确对错标准的任务，攒五百条黄金集。先开影子模式：级联全链路跑，但对外返回的仍然是强模型结果，只记录两边的差异和耗时。对齐一两周，一致率和延迟都达标再切流量，先切五分之一，别一上来全量。切完后持续盯升级率这一个指标，它突然抬升，往往意味着数据漂移、提示词改动或者上游出了异常，这个信号比看错误日志来得早。

模型级联不神秘，它本质上是把"每次都用最贵的"换成"按不确定程度付费"。难的是数据和阈值，不是架构。