Google TurboQuant：LLM 推理內存砍掉 6 倍，誰的護城河又塌了？

4 月 3 日，Google Research 悄悄發了一篇論文。標題：「TurboQuant: 6 倍內存壓縮，LLM 推理成本要變天」。

TurboQuant 是啥？

用新的量化算法，把大模型推理時的內存占用壓縮 6 倍以上，幾乎不損失精度。

這意味著什麼？

1. 70B 模型可以跑在消費級顯卡上（RTX 4090 就能跑）

2. 雲廠商的「模型即服務」生意難做了

3. 端側 AI 真的要來了

SFD 編者註：2026 年 4 月 8 日，AI 基礎設施變化太快。我們的策略：緊跟開源，快速復現，能本地就不雲端。