AI推理最佳化深度科普：量化、KV Cache和投機採樣，為什麼快比準更值錢

上週跟一個做ML的朋友聊天，他說了句讓我印象很深的話：「現在大家都在卷模型參數，但真正在生產環境裡拉開差距的，是推理速度。」

這話沒錯。GPT-4o發布的時候，大家驚嘆的不是它比GPT-4聰明多少，而是它快了多少、便宜了多少。推理效率，已經悄悄成為AI競爭的主戰場。

為什麼「算得快」比「算得準」更重要？

這聽起來有點反直覺。但仔細想想——一個回答準確率98%但需要30秒回應的模型，和一個準確率95%但500毫秒就給你答案的模型，你在實際工作中會用哪個？

大多數場景下，你會選快的那個。

這不是在說精度不重要，而是說：在精度過了某個「夠用」的門檻之後，速度和成本變成了更關鍵的變數。這個規律在工業界已經反覆驗證過了。

所以過去兩年，推理最佳化這個方向突然變得炙手可熱。不是因為大家不想把模型做更聰明，而是「怎麼讓現有的模型跑得更快、花更少的錢」，這個問題的回報率更高。

最常見的推理最佳化手段，是量化（Quantization）。

簡單說：神經網路的權重通常用32位元浮點數（FP32）儲存，量化就是把這些數字壓縮成更小的格式——16位元（FP16）、8位元（INT8）、甚至4位元（INT4）。

代價是什麼？精度會有輕微損失。但在實際測試中，從FP32壓到INT8，模型的表現基本感知不出差別，但推理速度可以提升2-4倍，記憶體占用直接減半。

我們自己在SFD實驗室跑本地Ollama的時候，最深的感受就是量化帶來的差異。同一個Qwen2.5-32B模型，Q4_K_M量化版本在96GB的Mac Studio上跑得很流暢，但如果你去跑FP16版本，記憶體直接撐不住。量化不是「將就用」的方案，很多時候它就是唯一可行的方案。

推理還有另一個大頭：KV Cache（鍵值快取）。

當模型在產生長文字的時候，它每產生一個token，都需要「回頭看」前面所有的內容。如果每次都重新計算，那代價是O(n²)——文字越長，計算量爆炸式增長。

KV Cache的邏輯是：把之前計算過的注意力鍵值對快取起來，下次直接讀，不用重新算。這個最佳化在長文字產生場景下效果巨大，回應速度可以提升幾倍到十幾倍。

問題是，KV Cache本身也很耗記憶體。當你同時服務很多使用者請求的時候，每個請求都要維護自己的Cache，記憶體壓力很快就上來了。

還有一個比較新穎的方向叫投機採樣（Speculative Decoding）。

思路有點意思：用一個小模型先快速「猜」接下來的幾個token，然後用大模型來「驗證」這些猜測對不對。如果猜對了，直接接受，跳過大模型逐token產生的步驟；猜錯了，從錯的地方重新開始。

因為小模型執行很快，大模型驗證多個token的成本又比逐個產生低，整體下來可以把推理速度提升30%-50%，而且輸出結果和直接用大模型完全一致。

在服務多使用者的推理服務裡，批次處理（Batching）是另一個關鍵。

早期的推理框架是靜態批次處理：等湊夠一批請求再一起算。問題是有些請求產生得快、有些慢，快的那些在等慢的，GPU資源白白浪費。

連續批次處理（Continuous Batching）解決了這個問題：誰產生完了誰就出去，新進來的請求直接插入批次繼續跑。vLLM就是把這個做到極致的框架之一，在高並發場景下，吞吐量提升可以達到10倍以上。

最後說一個架構級別的最佳化：混合專家模型（Mixture of Experts, MoE）。

傳統的Dense模型，每次推理都要跑所有參數。MoE的思路是：把模型拆成很多個「專家」子網路，每次推理只啟動其中的少數幾個（通常是2-8個），由一個路由器來決定用哪幾個專家處理當前輸入。

Mixtral 8x7B就是典型的MoE架構：總參數看起來有46B，但每次實際執行的只有12-13B，推理成本跟一個13B的Dense模型差不多，但效能接近一個真正的70B模型。

對於真正在用AI建構產品的人來說，理解這些機制很重要。它決定了你選哪個推理框架、用多大的量化精度、怎麼設計請求批次處理邏輯。這些決策，直接影響你的成本和使用者體驗。

AI的競爭已經從「誰的模型更聰明」，部分轉移到了「誰的系統更高效」。後者，對工程能力的要求不亞於前者。