注意力机制的本质与演化
这一篇从「你怎么读论文」讲起,一路走到 Transformer 的 Self-Attention、QKV、Multi-Head,最后停在那个把后面九篇课都逼出来的问题:O(n²)。每张图都会自己播放,点一下图可以用 ← → 一步步看。
本课颜色约定Query 钴蓝Key 镉橙Value 绿注意力权重 品红输入 token输出 token
## 一个直觉:你是怎么读一篇论文的?
想象你在读一篇 20 页的论文,有人突然问你:「这篇论文的模型用了什么损失函数?」
你不会从第一个字重新读起。你的大脑会**跳到**你觉得最可能出现答案的段落。
图 1 读论文时,你的注意力在做什么
这就是注意力的核心直觉:**根据当前需求,对不同位置的信息赋予不同的关注程度。**
在神经网络里,注意力做的事情完全一样:给定一个「当前关注点」(<span class="q-t">query</span>),在一堆候选信息(<span class="k-t">keys</span> / <span class="v-t">values</span>)中找到最相关的部分,把它们**加权聚合**起来。
## 注意力的诞生:Seq2Seq 的瓶颈
在 attention 出现之前(2014 年左右),序列到序列(seq2seq)模型把整个输入序列压缩成**一个固定长度的向量**(context vector),然后解码器只从这个向量里生成全部输出。
图 2 Seq2Seq:所有信息挤过一个固定大小的向量
问题很直观:你能把一本 300 页的书压缩成一个句子吗?不行。这就是**信息瓶颈**:输入越长,丢失的信息越多,模型性能急剧下降。
**Bahdanau Attention(2014)** 的解法:别压缩了,让解码器在**每一步都回头看**编码器的所有隐藏状态,自己决定看哪里:
1. 编码器产出每个时间步的隐藏状态 $h_1, h_2, \ldots, h_n$
2. 解码器生成第 $t$ 个词时,用当前状态 $s_t$ 和每个 $h_i$ 算一个「相关性分数」$e_{t,i}$
3. 对分数做 softmax,得到注意力权重 $\alpha_{t,i}$(加起来为 1)
4. 加权求和 $c_t = \sum_i \alpha_{t,i} \cdot h_i$,作为当前步的上下文
图 3 Bahdanau Attention:每生成一个词,重新分配一次注意力
$c_t$ 不再是一次性的静态压缩,而是**每一步都不同的动态聚焦**。把右边的 $\alpha$ 矩阵按行填满,你会看到一条近似对角线:它其实就是模型自己学出来的「词对齐」。
## 从「看别人」到「看自己」:Self-Attention
Bahdanau Attention 是**跨序列**的:解码器看编码器。2017 年 Transformer 提出了一个更激进的想法:**让序列看自己**。
句子 *The animal didn't cross the street because it was too tired*,「it」指的是什么?要回答这个问题,「it」需要回头看句子里的每一个词,找到和它最相关的那个。这就是 Self-Attention:**序列中的每个位置,都和同一序列中的所有位置计算注意力。**
图 4 Self-Attention:每个词都回头看整句话(鼠标移到任意一个词上,看它在关注谁)
注意第 2 步:只把最后一个词从 tired 换成 wide,「it」的注意力就从 animal 转到了 street。注意力权重不是固定的,而是**由内容现算出来的**。
## QKV:三重角色
Self-Attention 把每个 token 的表示拆成三个角色:
- <span class="q-t">Query(查询)</span>:「我在找什么?」——当前 token 主动发出的搜索请求
- <span class="k-t">Key(键)</span>:「我能提供什么?」——每个 token 暴露出来的「标签」
- <span class="v-t">Value(值)</span>:「我的实际内容」——匹配成功后真正被取走的信息
类比:你去图书馆找书。脑中的需求是 Query,书架上每本书的标题和分类是 Key,书的实际内容是 Value。你用 Query 去匹配 Key,匹配度高的那些书,它们的 Value 就被你按比例「借走」。
图 5 图书馆类比:Query 匹配 Key,按权重取 Value
**为什么要分开 Key 和 Value?**
因为「用来匹配」和「用来输出」的信息不必相同。一本书的标题(Key)告诉你它相不相关,但你真正要读的是内容(Value)。如果强制 Key = Value,同一组数字就得同时擅长「被搜到」和「被取用」两件事,模型的表达力会受限。
## 计算过程
把上面的图书馆换成矩阵,就是 Transformer 论文里那一行公式:
$$
\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V
$$
下面用 4 个 token 的真实数字把它走一遍。鼠标移到 $S$ 或 $P$ 的任意格子上,可以看到它是由哪一行 $Q$ 和哪一行 $K$ 算出来的。
图 6 一步步算一次 Self-Attention(n = 4, d_model = 4, d_k = 3)
- $QK^T$:所有 query-key 对的点积相似度,得到 $n \times n$ 的分数矩阵
- $\div \sqrt{d_k}$:缩放,防止点积太大让 softmax 进入梯度极小的**饱和区**
- softmax:把每一行归一化成概率分布(每行加起来为 1)
- 乘以 $V$:用这些概率加权聚合 Value
缩放这一步值得单独看一眼。$q$、$k$ 每一维都是均值 0、方差 1 的随机数时,点积 $q \cdot k$ 的标准差是 $\sqrt{d_k}$:维度越高,分数拉得越开。拖动下面的滑块:
图 7 为什么要除以 √d_k(同一个 query 对 8 个 key 的注意力)
不缩放时,$d_k$ 一大,softmax 几乎变成 one-hot:一个 key 拿走全部权重,其余接近 0。这时 softmax 的梯度 $p(1-p)$ 也趋近 0,模型很难再通过训练调整「该看谁」。除以 $\sqrt{d_k}$ 把分数的标准差拉回 1 左右,无论 $d_k$ 多大,分布都保持「有主有次」。
## Multi-Head Attention:多个视角同时看
一个 attention head 只能学一种「关注模式」。但语言是多维的:「it」既需要关注指代对象(animal),也需要关注描述它状态的词(tired)。
Multi-Head Attention 的解法:把 $d_{\text{model}}$ 维的 QKV 拆成 $h$ 个头,每个头的维度 $d_k = d_{\text{model}} / h$,各自独立做 attention,最后**拼接**起来再过一个线性层 $W_O$。
图 8 Multi-Head:同一个「it」,三个头看到三种关系
就像看一幅画:一个人看颜色、一个人看线条、一个人看构图,最后综合起来,比单一视角丰富得多。注意拆头**不增加计算量**:3 个 4 维的头和 1 个 12 维的头,乘法次数一样。
> 图里三个头各管什么(指代 / 状态 / 邻近词)是为了讲解而手工设定的。真实模型里每个头学到什么由训练决定,常常没有这么干净的语义。
## 问题来了:O(n²) 的代价
回头看图 4 第 3 步和图 6 的 $S$:$QK^T$ 产生的是一个 $n \times n$ 矩阵,$n$ 是序列长度。这意味着:
- **计算** $O(n^2 \cdot d)$:每一对 token 都要算一次点积
- **内存** $O(n^2)$:整个注意力矩阵要存在内存里
$n = 512$ 时这不是问题。但 $n = 128{,}000$ 时,$128{,}000^2 \approx 1.64 \times 10^{10}$ 个元素,每个 2 字节(FP16),**单层、单头**的分数矩阵就要约 33 GB。
图 9 把序列拉长,看 n×n 矩阵怎么撑爆一张显卡
所以这门课后面的每一篇,都在从不同角度对付这个 $n^2$。它们不是在「简化」注意力,而是在**保持(或近似保持)注意力效果**的同时,用更聪明的工程手段绕开计算和内存的物理限制。
02 Flash Attention不存完整 n×n 矩阵:分块在 SRAM 里算完
03 KV Cache推理时缓存 K、V;prefill / decode 两阶段
04 Paged Attention像虚拟内存一样分页管理 KV Cache
05 架构地图全注意力、局部、稀疏、线性、混合五派
06 GQA、MQA、MLA从结构上少存 K、V
07 滑动窗口局部-全局交错,Gemma、gpt-oss 的做法
08 线性注意力用固定大小的状态代替 KV Cache
09 混合架构Qwen3.5、Kimi 的「线性层 + 少量全注意力」
10 稀疏注意力可学习地只挑一部分 token 看
11 前缀缓存Radix Attention,多请求共享前缀
12 推理调度chunked prefill、PD 分离、Flash-Decoding
13 KV Cache 压缩量化、驱逐、卸载
14 Ring Attention把序列切到多张卡上
15 综合选型架构 × 系统怎么组合
02–04 从系统层面对付 $n^2$:不改注意力本身,只改怎么算、怎么存。05–10 从架构层面下手:让一部分层只看局部、只挑重点,或者干脆换成固定大小的状态。11–15 再回到推理系统,看这些新架构怎么跑起来。