投機取樣與草稿模型：為什麼更快的 Token 需要驗證者？

在 LLM 推論的效能優化中，一個核心矛盾是：生成速度受限於自回歸（Autoregressive）的本質。模型必須逐個 Token 地生成，且每個 Token 的產生都需要一次完整的模型前向傳播。即使是目前最先進的 GPU 叢集，在面對超長文本生成時，依然會感受到明顯的延遲。

為了打破這個瓶頸，投機取樣（Speculative Decoding）應運而生。它的核心邏輯不再是「慢而穩」，而是「快而敢」。

什麼是投機取樣？

簡單來說，投機取樣引入了一個輕量級的「草稿模型」（Draft Model）。這個模型規模極小（例如 100M 參數），推論速度極快，但準確率較低。

工作流程如下：

1. 草稿階段：由草稿模型快速預測接下來的 $K$ 個 Token（例如 5 個）。由於它很小，這 $K$ 個 Token 的生成速度遠高於主模型。
2. 驗證階段：將這 $K$ 個 Token 一次性交給主模型（Verifier Model）進行並行驗證。主模型利用其強大的能力，通過一次前向傳播計算出這 $K$ 個位置的概率分佈。
3. 接受與修正：如果主模型認為草稿模型的預測在概率上是可接受的，則直接採納；如果某個位置出現了偏差，則丟棄該位置及其之後的所有 Token，並由主模型給出正確的修正值。

這種機制將原本串行的生成過程變成了「預測-驗證」的循環。在理想情況下，如果草稿模型的命中率高，單次迭代可以產出多個 Token，從而顯著提升端到端吞吐量。

為什麼需要驗證者？

很多人會問：既然草稿模型能跑這麼快，為什麼不直接用它？答案在於 LLM 的「幻覺」與「邏輯一致性」。

小模型在處理簡單語法、常見短語時表現出色，但在處理複雜邏輯、專業知識或長程依賴時極易崩潰。如果沒有主模型的驗證，生成的文本將迅速失去邏輯支撐。驗證者的存在確保了：推論速度由小模型決定，但輸出品質由大模型背書。

關鍵挑戰：命中率與開銷平衡

投機取樣的效率取決於 $\text{Acceptance Rate}$（接受率）。

• 如果接受率極高 $\rightarrow$ 速度大幅提升。
• 如果接受率極低 $\rightarrow$ 主模型不僅要驗證錯誤的 Token，還要重新生成正確的 Token，反而增加了計算開銷（Overhead）。

因此，選擇一個與主模型分佈接近但規模足夠小的草稿模型至關重要。目前的趨勢是使用蒸餾（Distillation）技術將大模型的知識遷移到小模型中，以提高命中率。

實踐啟示

對於開發者和架構師而言，投機取樣意味著我們在部署 LLM 時不再只有「量化」這一條路。通過引入輔助的小模型或基於 N-gram 的簡單預測器，可以在不犧牲精度的情況下獲得 2-3 倍的推論加速。

核心結論：未來的 AI 推論將不再是單一模型的獨舞，而是「快速預測 + 精準校驗」的協作體系。