推理加速時代來了：Speculative Decoding 憑什麼能讓大模型快3倍？

我們在 SFD 實驗室跑推理任務的時候，有一段時間特別頭疼——同樣是 70B 參數的模型，有些設定下生成速度能到 40 tokens/s，有些卻卡在 15 tokens/s 上下，差了將近三倍。後來排查下來，差異的關鍵不是顯示卡，而是有沒有開 Speculative Decoding。

這篇文章想認真聊一下這個技術，不是那種「一句話科普」的層面，而是真的把原理說清楚，順便結合我們自己的使用體驗說說實際效果。

大模型推理慢，根本原因在哪裡？

大語言模型是自回歸生成的——每次只生成一個 token，下一個 token 依賴前面所有 token 的上下文。這個過程無法並行化，只能一步一步來。這就是所謂的「記憶體頻寬瓶頸」。

Speculative Decoding 的核心思路

用一個小模型先「猜」幾個 token，然後讓大模型一次驗證這批猜測是否正確。

1. Draft 階段：用小模型連續生成 k 個 token
2. Verify 階段：大模型並行前向推理驗證
3. Accept/Reject：逐位比較，命中率通常 70-85%

實際測試結果

• Qwen2.5-72B + 7B draft：平均加速 2.4x
• Llama-3.1-70B + 8B：穩定 2.8-3.2x
• 加速效果與任務類型相關，翻譯摘要最佳，開放創意寫作較差

有沒有品質損失？

理論上嚴格等價，Modified Rejection Sampling 機制確保輸出分佈和純大模型生成完全一致。在我們的測試中，Perplexity 分數幾乎沒有變化。

落地注意事項

• Draft 模型要和 Target 模型來自同一家族
• 記憶體需求翻倍，7B+70B 的組合約需 45GB 顯存
• 主流框架均已支援：vLLM、TGI、llama.cpp、Ollama

總結

Speculative Decoding 是大模型推理加速裡少有的「沒有副作用」的技術，2-3倍加速，不損失品質。對於在本地或私有伺服器上跑大模型的團隊，這個技術值得認真評估。