推理加速时代来了：Speculative Decoding 凭什么能让大模型快3倍？

我们在 SFD 实验室跑推理任务的时候，有一段时间特别头疼——同样是 70B 参数的模型，有些配置下生成速度能到 40 tokens/s，有些却卡在 15 tokens/s 上下，差了将近三倍。后来排查下来，差异的关键不是显卡，而是有没有开 Speculative Decoding。

这篇文章想认真聊一下这个技术，不是那种「一句话科普」的层面，而是真的把原理说清楚，顺便结合我们自己的使用体验说说实际效果。

大模型推理慢，根本原因在哪里？

在搞清楚 Speculative Decoding 之前，得先理解为什么大模型推理这么慢。

大语言模型是自回归生成的——每次只生成一个 token，下一个 token 依赖前面所有 token 的上下文。这个过程无法并行化，只能一步一步来。GPU 的并行计算能力在这里几乎没有用武之地，计算量主要花在大量的矩阵乘法上，而且每生成一个 token 都要做一次完整的前向推理。

这就是所谓的「内存带宽瓶颈」。对于大模型来说，推理时的主要开销不是计算，而是把模型参数从显存搬到计算核心的过程。参数越多，每次前向推理越慢，token 生成速度自然就上不去。

Speculative Decoding（投机采样/推测解码）的思路其实很直觉：用一个小模型先「猜」几个 token，然后让大模型一次验证这批猜测是否正确。

具体流程是这样的：

Draft 阶段：用一个小很多的模型（比如 7B 对应 70B）连续生成 k 个 token，这一步很快，因为小模型推理开销低。
Verify 阶段：把这 k 个 token 喂给大模型做一次并行前向推理。大模型同时验证这 k 个位置的 token 是否符合自己的分布。
Accept/Reject：从左到右检查每个位置。如果小模型的猜测和大模型的输出分布一致（通过概率比较判断），就接受；遇到第一个不一致的位置就截断，从那里重新开始。

关键点在于：大模型的并行验证成本远低于串行生成 k 次。如果猜对率高（通常在 70-85% 之间），就等于「白赚」了若干个 token 的生成时间。

这里有个容易混淆的地方。大模型本身的注意力机制（Attention）在推理阶段之所以不能并行生成，是因为每个新 token 都依赖前面的上下文——这是自回归的本质限制。

但是验证时，小模型给出的候选 token 序列是已知的。大模型可以把整段候选序列当成一个整体输入，一次前向推理就算出每个位置的分布，这相当于 prefill 阶段的计算模式，是可以并行的。

这就是 Speculative Decoding 的精妙之处：它把「串行生成」转换成了「并行验证」，从而绕过了自回归的速度瓶颈。

我们在实验室的 Mac Studio M3 Ultra（96GB）上测试过几个组合：

Qwen2.5-72B-Instruct + Qwen2.5-7B 做 draft：平均加速比约 2.4x，长文本生成效果更明显，代码生成场景下猜测命中率偏低（大概 60%），加速效果降到 1.8x 左右。
Llama-3.1-70B + Llama-3.1-8B：加速比稳定在 2.8-3.2x，因为同系列模型词分布更接近，命中率更高。
DeepSeek-R1 671B（量化）尝试中：受限于当前 llama.cpp RPC 分布式配置还没跑通，暂无数据。

值得注意的是，加速效果和任务类型强相关。翻译、摘要这类「重复性高」的任务，小模型猜对率高，加速明显；开放性创意写作或复杂推理，命中率下降，效果打折扣。

理论上 Speculative Decoding 是严格等价的——通过精心设计的接受-拒绝机制（Modified Rejection Sampling），最终输出分布和纯大模型生成完全一致。这不是近似方法，是数学上的精确等价。

但实践中有个细节：不同框架的实现可能在数值精度上有微小差异，导致输出和纯串行生成有极小偏差。在我们的测试里，Perplexity 分数几乎没有变化，人工评估也分不出差异。

用 Speculative Decoding 有几个前提条件值得注意：

Draft 模型要和 Target 模型来自同一家族。不同架构的模型词分布差异大，命中率会很低，加速效果反而不如直接跑大模型（因为还要额外跑 draft 模型的开销）。

显存压力变大。同时加载两个模型，显存需求翻倍。7B + 70B 的组合在 4-bit 量化下大约需要 45GB 显存，勉强能塞进 48GB 显卡里。

框架支持要确认。主流框架都已支持：vLLM、TGI、llama.cpp（--draft-model 参数）、Ollama（部分版本）。但配置方式各不相同，建议先查文档再上手。

最近还出现了一个有意思的变体——Self-Speculative Decoding，不需要单独的 draft 模型，而是让大模型用「早退」（Early Exit）机制在自身浅层先生成草稿，然后用完整的层数验证。这省去了加载第二个模型的显存开销，在资源受限的场景下很实用。

我们还没有在生产环境里测过这个，但理论上对于内存紧张的单卡部署场景是个值得尝试的方向。

Speculative Decoding 是目前大模型推理加速里少有的「没有副作用」的技术——不需要量化、不改变模型权重、不损失输出质量，就能把速度提升 2-3 倍。代价是需要额外的显存和一个合适的 draft 模型。

对于在本地或私有服务器上跑大模型的团队，这个技术值得认真评估。我们实验室下一步会在 RPC 分布式推理配置跑通后，测试 DeepSeek R1 671B 在多机环境下的 Speculative Decoding 效果，到时候再写一篇实测报告。