Notes / Attention Mechanisms & Optimizations / 02 Flash Attention 与 GPU 内存层级

Flash Attention 与 GPU 内存层级

上一篇停在 O(n²)。这一篇要说的是:对 attention 来说,真正拖慢 GPU 的往往不是那 n² 次乘法,而是把 n² 个中间结果在显存里来回搬。Flash Attention 的全部功夫,都花在「少搬」上。

本课颜色约定Query 钴蓝Key 镉橙Value 绿分数 / 权重 品红HBM 显存SRAM 片上缓存

## 先搞清楚一件事:瓶颈到底在哪? 现代 GPU 算力那么强,几百亿次浮点运算也就几毫秒的事,$n^2$ 的计算量真的是瓶颈吗? 对 attention 这个操作来说,**计算量不是主要瓶颈,内存访问才是。** 要理解这一点,得先看 GPU 的存储是怎么分层的。 ## GPU 内存层级:快但小 vs 大但慢
图 1 两层存储,一条窄路(A100 的典型数字)
类比:HBM 是你家的大书房(书很多,但每次取书要走一段路),SRAM 是手边的小书桌(放不了几本,但随手就能拿到)。 SRAM 的带宽大约是 HBM 的 **10 倍**。计算单元只能直接处理 SRAM 里的数据,所以大部分时间它们都在**等数据从 HBM 搬上来**。这种情况叫 **memory-bound**(内存瓶颈)。 注意 SRAM 的「约 20 MB」是全卡合计:A100 有 108 个 SM(流式多处理器),每个 SM 只有约 192 KB 的片上存储。真正能一次放进一个 SM 的数据非常少,这决定了后面分块要切多小。 ## 标准 Attention 的内存灾难 回顾标准 attention 的三步计算,看看它对 HBM 做了什么:
图 2 标准 attention:n×n 的 S 和 P 在 HBM 里来回搬
两个 $n \times n$ 的中间矩阵 $S$ 和 $P$,都被完整写进 HBM 再读回来。$n = 128\text{K}$ 时,单个头的 $S$ 就有约 33 GB,这些数据全走在最慢的那条路上。算力再强,也被这条路堵死了。 **核心洞察:如果能在 SRAM 里一口气算完,不把中间结果写回 HBM,速度就能大幅提升。** 但 SRAM 只有几百 KB,$n \times n$ 的矩阵可能几十 GB。怎么办? ## Flash Attention 的核心思路:Tiling(分块) 思路很朴素:既然整个矩阵放不进 SRAM,那就**一块一块地算**。 把 $Q$ 按行切成若干块 $Q_1, Q_2, \ldots$(每块 $B_r \times d$),$K$、$V$ 也按行切成若干块(每块 $B_c \times d$)。每次只把一个 $Q_i$ 和一对 $K_j, V_j$ 搬进 SRAM,在里面算完这一小块的 attention,把结果累积到输出 $O_i$,然后丢掉这一块的分数。
图 3 分块计算:每个小块只在 SRAM 里活一瞬间
每个小块 $S_{ij}$ 只有 $B_r \times B_c$ 大(比如 $128 \times 128$),可以设计成刚好放进一个 SM 的 SRAM。完整的 $n \times n$ 矩阵**从头到尾都没有在 HBM 里出现过**,它只以小块的形式在 SRAM 里短暂存在。 ## 最大的难题:Softmax 怎么分块算? Tiling 的想法很自然,但有一个致命的障碍:**softmax 需要看到完整的一行才能计算。** $$ \text{softmax}(x_i) = \frac{e^{x_i}}{\sum_j e^{x_j}} $$ 分母 $\sum_j e^{x_j}$ 要遍历整行。只看到前半行,你根本不知道分母是多少,因为后半行还没算出来。 就像考试还没结束,你不知道最高分是多少,就没法算每个人的排名百分比。 ## Online Softmax:边算边修正 Flash Attention 用的技巧叫 **Online Softmax**:先用「目前已知的信息」算一个临时结果,看到新数据后再修正。它只需要维护两个统计量: - $m$:目前见过的最大分数(用于数值稳定) - $\ell$:目前的 softmax 分母 每来一个新块 $j$: 1. 算这一块的分数 $S_{ij} = Q_i K_j^T$,找到块内最大值 $m_j$ 2. 更新全局最大值 $m_{\text{new}} = \max(m_{\text{old}}, m_j)$ 3. 修正旧分母:$\ell_{\text{new}} = \ell_{\text{old}} \cdot e^{m_{\text{old}} - m_{\text{new}}} + \sum e^{S_{ij} - m_{\text{new}}}$ 4. 用同一个系数修正旧输出,再加上这一块的贡献 下面这一行有 12 个分数,分 3 块到达。看第 2、3 步:一旦新块里出现更大的分数,之前算好的权重会被**整体压一压**。
图 4 Online softmax:一次只看一块,最后结果分毫不差
修正因子 $e^{m_{\text{old}} - m_{\text{new}}}$ 的直觉:新块里出现了更大的值,说明之前减去的「最大值」不够大,那些 $e^x$ 都算大了,乘一个小于 1 的系数把它们压回去。 **关键的数学保证:所有块处理完后,结果和标准 attention 精确相同(在浮点精度范围内)。** 这不是近似,是精确等价。图 4 最后一步的对比就是这个意思。 ## 效果 | 指标 | 标准 Attention | Flash Attention | |---|---|---| | HBM 读写量 | $\Theta(nd + n^2)$ | $\Theta(n^2 d^2 / M)$ | | 需要存储的中间矩阵 | 完整 $n \times n$ | 无(只在 SRAM 中短暂存在) | | 额外显存 | $O(n^2)$ | $O(n)$(每行的 $m$ 和 $\ell$) | | 论文报告的端到端加速 | 基准 | 约 2–4 倍 | 表里的 $M$ 是**单个 SM 的 SRAM 容量**(以元素计,A100 上约 10 万个 FP16 数)。$d$ 是 head 维度,通常 64–128。$d^2/M$ 在 $d=64$ 时约为 1/24,$d=128$ 时约为 1/6:HBM 访问量减少了好几倍,而且序列越长,省下的 $n^2$ 项越多。 ## 一个更大的认知:计算 vs 内存的 trade-off Flash Attention 实际上**做了更多计算**:修正因子要额外算,反向传播时还要重新算一遍分数(因为没存 $S$ 和 $P$)。但它大幅减少了 HBM 访问。
图 5 多算一点,少搬很多(示意,不是实测)
做更多的事反而更快,是因为现代 GPU 的算力远远超过它的内存带宽。计算单元本来就闲着,多算一点不要紧,少搬一次数据才是真正的节省。 就像快递员:分拣包裹很快(计算),但每次回仓库取货要开很远的车(内存访问)。让他在客户楼下多做一点分拣、少回几趟仓库,整体效率反而更高。 ## Flash Attention 2 和 3:持续优化
三代的思路一脉相承:**算法不变,越来越贴着硬件写**。下一篇转向推理:训练时一次算完整个序列,推理时 token 一个个生成,attention 的瓶颈又换了地方。