深度解析：LLM 的“思考”成本——从计算量 (FLOPs) 到内存带宽瓶颈

在讨论大语言模型（LLM）的性能时，人们习惯于关注“参数量”（如 70B, 405B） own 或“训练 Token 数”。但对于实际部署和使用 AI 的工程师来说，真正决定速度和成本的不是参数总量，而是**计算量（Compute）与内存带宽（Memory Bandwidth）之间的残酷博弈**。

本文将揭开 LLM 推理过程中一个核心的工程真相：为什么增加显存不一定能让 AI 变快？以及为什么“推理速度”在本质上是一个内存搬运问题。

1. 计算 vs. 搬运：LLM 的两种状态

要理解 LLM 的运行成本，必须区分两个阶段：**Prefill（预填充）** 和 **Decoding（解码）**。

当你向 AI 发送一段 1000 字的提示词时，模型需要一次性处理所有输入。此时，GPU 可以利用强大的并行能力，将大量数据填入计算核心（CUDA Cores/Tensor Cores）。

- **特点**：计算单元几乎满载，数据在芯片内部流动快。

- **瓶颈**：取决于 GPU 的 TFLOPS（每秒浮点运算次数）。如果你有更强的算力，Prefill 会明显变快。

这是最关键的阶段。AI 生成每一个新 Token 时，必须重新读取一遍模型的所有权重参数 $\mathbf{W}$。

- **残酷现实**：为了生成一个 Token，GPU 需要将数百 GB 的权重从显存（HBM）搬运到计算核心中。然而，搬运速度（带宽）远低于计算速度。

- **结论**：在 Decoding 阶段，GPU 的计算核心大部分时间在“空转”，等待数据从显存中传过来。这就是为什么即使你用最顶级的 H100，生成速度依然有上限的原因——瓶颈不在于算力，而在于**内存带宽**。

工程上有一个概念叫 **算术强度 (Arithmetic Intensity)**，即 $\frac{\text{计算量}}{\text{访存量}}$。

- 如果算术强度高 $\rightarrow$ 计算密集 $\rightarrow$ 算力决定速度。

- 如果算术强度低 $\rightarrow$ 访存密集 $\rightarrow$ 带宽决定速度。

在 Decoding 时，每个权重参数只参与一次乘法就得被丢弃或更新，导致算术强度极低。这意味着 LLM 推理本质上是一个“搬运工”工作，而不是“数学家”工作。

既然带宽是死穴，工业界采取了三种主流的“欺骗”手段：

如果把 FP16（16位浮点数）压缩到 INT4（4位整数），权重体积缩小 4 倍。这意味着在同样的带宽下，GPU 每秒能搬运更多参数 $\rightarrow$ 推理速度理论提升近 4 倍。这也是为什么 `llama.cpp` 等工具如此流行的原因。

我们在之前的科普中提到过 KV Cache。它的本质是**用空间换时间**。通过缓存之前 Token 的键值对，模型不需要在生成第 $N$ 个词时重新计算前 $N-1$ 个词的注意力权重，从而将部分 Prefill 的压力转化为显存占用。

既然大模型搬运太慢，那就先让一个小模型（轻量、带宽压力小）快速猜测接下来的几个 Token $\rightarrow$ 大模型一次性验证这些猜测是否正确 $\rightarrow$ 将 Decoding 转回 Prefill 模式（并行验证）。这样可以用极小的代价大幅提升感知速度。

理解 LLM 的成本结构有助于我们做出更好的技术选型：

- **追求低延迟？** $\rightarrow$ 关注量化等级和内存带宽更高的硬件（如 HBM3e）。

- **处理长文本？** $\rightarrow$ 关注显存容量以容纳更大的 KV Cache。

- **优化吞吐量？** $\rightarrow$ 通过 Batching 将多个请求合并成一个大的 Prefill 操作，提高算术强度。

AI 的进化不仅是算法的胜利，更是对硬件物理极限的一次次精巧绕道。🦊