Flash Attention 与 GPU 内存层级
上一篇停在 O(n²)。这一篇要说的是:对 attention 来说,真正拖慢 GPU 的往往不是那 n² 次乘法,而是把 n² 个中间结果在显存里来回搬。Flash Attention 的全部功夫,都花在「少搬」上。
本课颜色约定Query 钴蓝Key 镉橙Value 绿分数 / 权重 品红HBM 显存SRAM 片上缓存
## 先搞清楚一件事:瓶颈到底在哪?
现代 GPU 算力那么强,几百亿次浮点运算也就几毫秒的事,$n^2$ 的计算量真的是瓶颈吗?
对 attention 这个操作来说,**计算量不是主要瓶颈,内存访问才是。** 要理解这一点,得先看 GPU 的存储是怎么分层的。
## GPU 内存层级:快但小 vs 大但慢
图 1 两层存储,一条窄路(A100 的典型数字)
类比:HBM 是你家的大书房(书很多,但每次取书要走一段路),SRAM 是手边的小书桌(放不了几本,但随手就能拿到)。
SRAM 的带宽大约是 HBM 的 **10 倍**。计算单元只能直接处理 SRAM 里的数据,所以大部分时间它们都在**等数据从 HBM 搬上来**。这种情况叫 **memory-bound**(内存瓶颈)。
注意 SRAM 的「约 20 MB」是全卡合计:A100 有 108 个 SM(流式多处理器),每个 SM 只有约 192 KB 的片上存储。真正能一次放进一个 SM 的数据非常少,这决定了后面分块要切多小。
## 标准 Attention 的内存灾难
回顾标准 attention 的三步计算,看看它对 HBM 做了什么:
图 2 标准 attention:n×n 的 S 和 P 在 HBM 里来回搬
两个 $n \times n$ 的中间矩阵 $S$ 和 $P$,都被完整写进 HBM 再读回来。$n = 128\text{K}$ 时,单个头的 $S$ 就有约 33 GB,这些数据全走在最慢的那条路上。算力再强,也被这条路堵死了。
**核心洞察:如果能在 SRAM 里一口气算完,不把中间结果写回 HBM,速度就能大幅提升。**
但 SRAM 只有几百 KB,$n \times n$ 的矩阵可能几十 GB。怎么办?
## Flash Attention 的核心思路:Tiling(分块)
思路很朴素:既然整个矩阵放不进 SRAM,那就**一块一块地算**。
把 $Q$ 按行切成若干块 $Q_1, Q_2, \ldots$(每块 $B_r \times d$),$K$、$V$ 也按行切成若干块(每块 $B_c \times d$)。每次只把一个 $Q_i$ 和一对 $K_j, V_j$ 搬进 SRAM,在里面算完这一小块的 attention,把结果累积到输出 $O_i$,然后丢掉这一块的分数。
图 3 分块计算:每个小块只在 SRAM 里活一瞬间
每个小块 $S_{ij}$ 只有 $B_r \times B_c$ 大(比如 $128 \times 128$),可以设计成刚好放进一个 SM 的 SRAM。完整的 $n \times n$ 矩阵**从头到尾都没有在 HBM 里出现过**,它只以小块的形式在 SRAM 里短暂存在。
## 最大的难题:Softmax 怎么分块算?
Tiling 的想法很自然,但有一个致命的障碍:**softmax 需要看到完整的一行才能计算。**
$$
\text{softmax}(x_i) = \frac{e^{x_i}}{\sum_j e^{x_j}}
$$
分母 $\sum_j e^{x_j}$ 要遍历整行。只看到前半行,你根本不知道分母是多少,因为后半行还没算出来。
就像考试还没结束,你不知道最高分是多少,就没法算每个人的排名百分比。
## Online Softmax:边算边修正
Flash Attention 用的技巧叫 **Online Softmax**:先用「目前已知的信息」算一个临时结果,看到新数据后再修正。它只需要维护两个统计量:
- $m$:目前见过的最大分数(用于数值稳定)
- $\ell$:目前的 softmax 分母
每来一个新块 $j$:
1. 算这一块的分数 $S_{ij} = Q_i K_j^T$,找到块内最大值 $m_j$
2. 更新全局最大值 $m_{\text{new}} = \max(m_{\text{old}}, m_j)$
3. 修正旧分母:$\ell_{\text{new}} = \ell_{\text{old}} \cdot e^{m_{\text{old}} - m_{\text{new}}} + \sum e^{S_{ij} - m_{\text{new}}}$
4. 用同一个系数修正旧输出,再加上这一块的贡献
下面这一行有 12 个分数,分 3 块到达。看第 2、3 步:一旦新块里出现更大的分数,之前算好的权重会被**整体压一压**。
图 4 Online softmax:一次只看一块,最后结果分毫不差
修正因子 $e^{m_{\text{old}} - m_{\text{new}}}$ 的直觉:新块里出现了更大的值,说明之前减去的「最大值」不够大,那些 $e^x$ 都算大了,乘一个小于 1 的系数把它们压回去。
**关键的数学保证:所有块处理完后,结果和标准 attention 精确相同(在浮点精度范围内)。** 这不是近似,是精确等价。图 4 最后一步的对比就是这个意思。
## 效果
| 指标 | 标准 Attention | Flash Attention |
|---|---|---|
| HBM 读写量 | $\Theta(nd + n^2)$ | $\Theta(n^2 d^2 / M)$ |
| 需要存储的中间矩阵 | 完整 $n \times n$ | 无(只在 SRAM 中短暂存在) |
| 额外显存 | $O(n^2)$ | $O(n)$(每行的 $m$ 和 $\ell$) |
| 论文报告的端到端加速 | 基准 | 约 2–4 倍 |
表里的 $M$ 是**单个 SM 的 SRAM 容量**(以元素计,A100 上约 10 万个 FP16 数)。$d$ 是 head 维度,通常 64–128。$d^2/M$ 在 $d=64$ 时约为 1/24,$d=128$ 时约为 1/6:HBM 访问量减少了好几倍,而且序列越长,省下的 $n^2$ 项越多。
## 一个更大的认知:计算 vs 内存的 trade-off
Flash Attention 实际上**做了更多计算**:修正因子要额外算,反向传播时还要重新算一遍分数(因为没存 $S$ 和 $P$)。但它大幅减少了 HBM 访问。
图 5 多算一点,少搬很多(示意,不是实测)
做更多的事反而更快,是因为现代 GPU 的算力远远超过它的内存带宽。计算单元本来就闲着,多算一点不要紧,少搬一次数据才是真正的节省。
就像快递员:分拣包裹很快(计算),但每次回仓库取货要开很远的车(内存访问)。让他在客户楼下多做一点分拣、少回几趟仓库,整体效率反而更高。
## Flash Attention 2 和 3:持续优化
FA1 · 2022 分块 + online softmax本篇讲的内容:不存 n×n 矩阵,HBM 访问降一个量级
FA2 · 2023 更好的并行让不同 warp 少通信、各干各的,减少非矩阵乘法的开销,比 FA1 再快约 2 倍
FA3 · 2024 吃满 H100用 Hopper 的异步搬运(TMA)和 warp group 调度,让搬运和计算重叠,FP16 下约 75% 峰值利用率
三代的思路一脉相承:**算法不变,越来越贴着硬件写**。下一篇转向推理:训练时一次算完整个序列,推理时 token 一个个生成,attention 的瓶颈又换了地方。