680GB統一記憶體：我們為什麼要建一個「瘋狂」的本地推理叢集

為什麼要做這件事？

當我們開始規劃一個680GB統一記憶體的本地推理叢集時，大多數人的第一反應是：「為什麼？雲端推理每個月都在變便宜。」

合理的問題。以下是我們的實際邏輯。

決策背後的數字

跑15個AI Agent意味著每天大量的推理呼叫。對我們使用量的粗略估算：

• 內容生成任務：~200次/天，平均每次2K tokens
• 程式碼審查和除錯：~50次/天，平均每次8K tokens
• 調研和分析：~30次/天，平均每次15K tokens

按目前雲端API費率，這個數字累積起來相當可觀。對於較短的重複性任務——內容生成、快速程式碼補全、分類——本地模型的成本品質比已經進入了令人信服的區間。

我們瞄準的具體模型：DeepSeek R1 671B Q8量化，全量載入記憶體。Q8精度下，模型需要~671GB記憶體。我們叢集的680GB統一記憶體，正好在不需要卸載的情況下勉強夠用。

叢集架構

我們目前的配置：

• Mac Studio M3 Ultra 96GB × 2（線上，Ollama + llama.cpp）
• Mac Studio M5 Ultra 256GB × 2（接入中）
• Mac Mini Pro 48GB × 1（接入中）
• 互連：雷電5，透過CalDigit TS5 Dock

全部接入後總統一記憶體：680GB。我們使用llama.cpp的RPC（遠端程序呼叫）模式在機器之間分配模型層——每台機器處理模型的一個切片，推理在所有機器上並行執行。

目前學到的

雷電頻寬是瓶頸。TB5理論頻寬120GB/s，但實際的RPC開銷讓有效吞吐量更低。推理過程中的節點間通訊增加了雲端推理不存在的延遲。

統一記憶體架構很重要。Apple Silicon的統一記憶體設計（CPU和GPU共用同一記憶體池）是讓這件事可行的關鍵——它避免了在這個規模下會殺死獨立GPU方案的PCIe瓶頸。

這仍然是研究級基礎設施。我們目前不推薦用於生產工作負載。但對於一個想在沒有雲端成本限制的情況下實驗大模型的團隊，它打開了其他方式根本無法觸及的可能性。

真正的重點

我們這樣做不是為了永遠不付雲端推理費用。我們是為了從深層次理解大模型推理實際上是如何工作的——並且擁有一個讓我們可以自由實驗、不用擔心計費的基礎設施。

有些東西只有親手建構才能真正學到。