KV Cache 与推理时的 Attention
前两篇讲的都是训练:整个序列一次性喂进去。可你和模型对话时,它是一个 token 一个 token 往外吐的。这种逐字生成的模式,让 attention 的瓶颈从「算」彻底变成了「存」和「读」。
本课颜色约定Query 钴蓝Key 镉橙Value 绿注意力 品红prompt token生成的 token
## 训练和推理:同一个 Attention,完全不同的计算模式
训练时,整句话是已知的:所有 token 一起进来,因果掩码(causal mask)保证每个位置只看自己和之前的词,$n \times n$ 的下三角一次算完。
推理时,答案还不存在。模型每生成一个 token,都要拿这个新 token 去和**之前所有 token** 做一次 attention,然后才能生成下一个。
图 1 同一个下三角,训练一次算完,推理一行一行长出来
这就引出一个问题:**每生成一个 token,都要重新算之前所有 token 的 K 和 V 吗?**
## 重复计算的浪费
生成第 1000 个 token 时:
- $q_{1000} = x_{1000} W_Q$:只有这一个是新的
- $K = [k_1, \ldots, k_{999}, k_{1000}]$:前 999 个和上一步一模一样
- $V = [v_1, \ldots, v_{999}, v_{1000}]$:同上
前 999 个 K 和 V 在上一步已经算过了,再算一遍纯属浪费。不做缓存的话,生成长度为 $L$ 的回复要做 $1 + 2 + \cdots + L = O(L^2)$ 次 K/V 投影,其中绝大部分是重复的。
## KV Cache:算一次,存起来
思路极其简单:**每个 token 的 K 和 V 算完后存进显存,以后直接读。**
图 2 不缓存 vs 缓存:每一步要算几次 K、V
有了 KV Cache,每一步只需要给新 token 做一次投影($O(d^2)$),省掉了对前面所有 token 重新投影的 $O(n \cdot d^2)$。剩下的 attention 本身仍然要让新 token 的 $q$ 和全部 $n$ 个 $k$ 做点积、再加权 $n$ 个 $v$,是 $O(n \cdot d)$,并且**随上下文变长而线性增长**。
所以上下文很长时,越往后生成,每个 token 越慢:每一步都要把越来越大的 KV Cache 读一遍。
## KV Cache 的内存代价
KV Cache 是用内存换计算:不再重复算,但所有历史 K、V 都得存着。拿 LLaMA 2 70B 算一笔账(80 层,64 个 query 头但只有 8 个 KV 头,每头 128 维,FP16):
图 3 一个 token 320 KB,乘上上下文长度和同时在线的用户(LLaMA 2 70B,FP16)
一个 4K 上下文的对话就要约 1.3 GB 显存放 KV Cache;同时服务 100 个这样的用户,就是约 134 GB,超过一张 80 GB A100 的全部显存,而这还没算模型权重本身(70B 参数在 FP16 下约 140 GB)。
LLaMA 2 原生只支持 4K 上下文,但如果同样结构的模型跑 128K 上下文,单个用户的 KV Cache 就要约 42 GB。
## 推理的两个阶段
理解了 KV Cache,推理就可以分成两个截然不同的阶段:
- **Prefill(预填充)**:处理用户的整段 prompt。和训练很像,所有 prompt token 一起算,一次性把它们的 K、V 填进 cache。一次处理大量 token,矩阵乘法够大,GPU 算力能用满,属于 **compute-bound**。
- **Decode(解码)**:逐个生成输出 token。每步只有一个新 token,计算量很小,却要把整个 KV Cache(还有全部模型权重)从显存读一遍。GPU 大部分时间在等数据,属于 **memory-bound**。
图 4 Prefill 一口气填满,decode 每步把整个 cache 读一遍
这种 prefill 和 decode 的分离是 LLM serving 的核心挑战之一,后面的 chunked prefill、prefill-decode 分离部署等优化,都是围绕它展开的。
## KV Cache 的内存管理噩梦
到这里,KV Cache 听起来只是「占显存」。但在真实的推理服务里,更麻烦的是**碎片化**。
问题的根源:**你不知道一段对话最终会有多长。** 如果每个请求都按最大长度预留一段连续显存,大部分对话只用掉其中一小截,剩下的就白白占着;请求结束、显存释放后,又会留下大小不一的空洞。
图 5 连续分配:明明还有空间,新请求却放不下(一格 = 一段固定数量的 token)
这就是 C 语言里 `malloc` 的老问题:**连续分配 + 事先不知道大小 = 碎片化**。vLLM 论文(Kwon 等,2023)测得,在它之前的推理系统里,KV Cache 显存有 60–80% 被这样浪费掉。
下一篇的 Paged Attention 就是来解决这个问题的:它借鉴操作系统的虚拟内存,用「分页」的方式管理 KV Cache。