MoE 路由機制：稀疏激活、專家失衡與推理成本的博弈

隨著參數規模向兆級邁進，稠密（Dense）模型的計算成本已成為不可逾越的障礙。Mixture-of-Experts (MoE) 架構透過將一個巨大的網路拆分為多個專門的「專家」（Experts），實現了在保持強大能力的同時降低單次推理的計算量。

MoE 的核心邏輯：稀疏激活

在稠密模型中，每一個輸入 Token 都要經過所有參數的處理；而在 MoE 模型中，引入了一個關鍵組件——門控網路（Gating Network / Router）。

當一個 Token 進入網路時，Router 會計算該 Token 與各個專家之間的匹配度，並僅激活其中少數幾個專家（通常是 Top-1 或 Top-2）。這意味著雖然模型的總參數量可能高達 1.8 兆（如 GPT-4），但處理單個 Token 時實際參與計算的參數可能僅有幾百億。這種特性被稱為「稀疏激活」（Sparse Activation）。

路由中的隱患：專家失衡 (Expert Imbalance)

MoE 在理論上很完美，但在實際訓練中面臨一個嚴重問題：專家崩潰或失衡。

由於 Router 在初期傾向於選擇那些表現稍好一點的專家，導致部分專家被過度調用（Overloaded），而另一部分專家則幾乎得不到訓練（Underutilized）。這會導致兩個後果：

1. 資源浪費：大量參數處於閒置狀態，沒有貢獻價值。
2. 效能瓶頸：被過度調用的專家成為了計算瓶頸 $\rightarrow$ 推理延遲增加 $\rightarrow$ 系統吞吐量下降。

為了解決這個問題，$Auxiliary Loss$（輔助損失函數）被引入訓練過程中，強制 Router 將負載均勻地分配給所有專家。然而這種強制平衡有時會損害模型的專業化程度——因為有些 Token 本就應該由特定的專家處理。

推理成本的真相：顯存 vs 計算量

這是一個常見的誤區：認為 MoE 因為稀疏激活所以省錢。事實並非如此簡單。

MoE 的優勢在於 FLOPs (計算量) 的降低 $\rightarrow$ 單個請求回應更快 $\rightarrow$ 每秒能處理更多請求 $\text{(Throughput)}$。 但 MoE 的劣勢在於 VRAM (顯存佔用) 的激增 $\rightarrow$ 所有專家必須全部載入到顯存中才能隨時調用 $\rightarrow$ 需要更多的 GPU 卡來承載同一個模型實例 $\text{(Memory Footprint)}$。

因此，MoE 是用「空間」換取了「時間」。對於擁有海量顯存資源的廠商來說這是最優解；但對於資源受限的環境，$KV\ Cache$ 和權重儲存壓力依然巨大。

總結與展望

MoE 將 LLM 從一個「全才」變成了一個由無數個「專才」組成的委員會。未來的優化方向將集中在更智能的動態路由演算法以及更高效的模型分片策略上。理解 MoE 的本質就是理解如何在極致的能力需求與現實的算力成本之間尋找平衡點。