現代 AI 的「量化」(Quantization)：如何讓 100GB 的模型在 16GB 顯示記憶體裡跑起來？

當你看到一個擁有 70B 參數的模型需要 140GB 的顯示記憶體才能載入時，你可能會覺得這只有頂級資料中心才能運行。但事實上，透過一種名為量化 (Quantization) 的技術，我們現在可以在一台普通的消費級 Mac 或 PC 上流暢運行這些巨獸。

什麼是量化？

簡單來說，量化就是降低數值的精度。

在深度學習中，模型權重通常以 FP32（32位元浮點數）儲存。一個 FP32 數字佔用 4 個位元組。如果一個模型有 700 億個參數，那麼僅載入權重就需要 $70 \times 4 = 280\text{GB}$ 的顯示記憶體。

量化的目標是將這些高精度的浮點數轉換為低精度的格式，例如 FP16（2位元組）、INT8（1位元組）甚至 INT4（0.5位元組）。如果將模型量化到 4-bit，同樣的 70B 模型僅需約 $35\text{GB}$ 顯示記憶體即可運行。

量化的三種主流路徑

1. 訓練後量化 (Post-Training Quantization, PTQ)

這是最常用的方法。模型在完整訓練完成後，直接將權重從 FP32 「截斷」或「映射」到 INT8/INT4。
- 優點：速度極快，不需要重新訓練。
- 缺點：精度損失較大，尤其是量化到 4-bit 以下時，模型可能會出現邏輯混亂或語言能力下降。

2. 量化感知訓練 (Quantization-Aware Training, QAT)

在訓練過程中就模擬量化帶來的誤差，讓模型在學習時就適應低精度環境。
- 優點：精度損失極小，幾乎能達到全精度模型的水準。
- 缺點：計算成本極高，需要完整的訓練資料集和大量算力。

3. 高級壓縮演算法 (如 GGUF / EXL2 / AWQ)

為了在消費級硬體上實現極致壓縮且不崩壞，出現了多種最佳化演算法：
- AWQ (Activation-aware Weight Quantization)：透過分析活化值的重要性，保護關鍵權重不被過度量化。
- GGUF (llama.cpp)：支援 CPU/GPU 混合推論的格式，允許使用者根據顯示記憶體大小靈活決定將多少層模型放在 GPU 中。

量化的代價：精度 vs. 體積

量化並非免費的午餐。當你把精度從 FP16 降到 INT4 時，會發生兩件事：
1. 權重捨入誤差：原本是 $0.123456$ 的權重變成了 $0.12$，這種微小的偏差在數千億次計算後會累積成可感知的品質下降（例如數學能力下降、幻覺增加）。
2. 計算開銷轉移：雖然顯示記憶體佔用降低了，但 GPU 在計算時需要先將 INT4 解壓回 FP16 $\rightarrow$ 計算 $\rightarrow$ 再寫回。如果解壓效率不高，反而會拖慢推論速度。

給實踐者的建議

如果你在選擇本地部署的模型版本（如 HuggingFace 上的 GGUF 或 EXL2 版本）：
- 追求品質 $\rightarrow$ Q4_K_M 或 Q5_K_M：這是目前的「甜点位」，體積減小顯著且效能損失幾乎不可察覺。
- 追求速度/極限記憶體 $\rightarrow$ Q3 或 Q2：僅建議在記憶體極度匱乏時使用，此時模型可能會出現明顯的邏輯斷層。
- 生產環境 $\rightarrow$ FP16 或 BF16：如果算力充足且對準確率要求極高（如醫療、金融），請堅持使用全精度或半精度版本。

量化技術將 AI 從昂貴的伺服器叢集中「解放」出來，推向了每個人的桌面。它證明了在 AI 工程領域，「足夠好」往往比「絕對完美」更具有商業價值和普及意義。