Flash Attention 交互式可视化

n=8, d=4, Br=Bc=4 · 2 个 Q tile × 2 个 K/V tile · 键盘 ← → 翻页
0 / 0
内存层级
HBM · 慢但大(40-80 GB) ~2 TB/s
SRAM · 快但小(~20 MB)— 里面的东西从不写回 HBM ~19 TB/s
📖 符号速查 · 没接触过 softmax 的话先读这里(点击折叠)
Br, Bc — tile(分块)的大小
Br = Q tile 一次取多少行(多少个 query),本例 = 4。 Bc = K/V tile 一次取多少行(多少个 key/value),本例 = 4。 SRAM 只有 ~20 MB,整张 n×n 矩阵装不下。Br、Bc 选得刚好让"1 个 Q tile + 1 个 K tile + 1 个 V tile + 1 个 Br×Bc 的临时 S 矩阵"全部塞进 SRAM。真实实现里通常 Br = Bc = 64 或 128。
Sij — attention 分数矩阵
Q tile 和 K tile 的点积结果,形状 Br×Bc。S[a][b] = 第 a 个 query 与第 b 个 key 的"相关度打分",数字越大越相关。 是 softmax 的输入。softmax 会把每一行变成总和为 1 的概率分布,告诉模型"这个 query 应该把多少注意力分给每个 key"。
m — 每行目前见过的最大 S 值(向量,长度 Br)
一个简单的 running max:m[a] = 第 a 行所有看过的 S 值里最大那个。 softmax 公式 ex/Σex 中 ex 容易溢出(x=100 时 ex≈1043)。标准技巧是先减去 max:ex−m/Σex−m(数学上等价,但数值安全)。分块时我们不知道全局 max,只能边算边更新——新 tile 带来更大 max 时,之前用旧 m 算的部分必须乘修正因子 em_old−m_new 重新对齐。
ℓ — 每行 softmax 的分母(向量,长度 Br)
ℓ[a] = 第 a 行所有 eS[a][·]−m[a] 的累加和,也就是 softmax 公式里的那个分母 Σex。读作 "ell"。 分块算到一半时,我们只看到部分 S 值,分母还不完整。每处理完一个新 tile 就把它的 e 值加进 ℓ。m 更新时 ℓ 也要乘同一个修正因子,因为里面所有项都是用旧 m 算出来的。
O — 累积输出(矩阵,Br×d)
attention 最终要算的就是 O = softmax(S) · V。但因为 softmax 还没算完,这里的 O 是未归一化的累积版本:每来一个 K/V tile 就把 P·Vj 加进来(P = eS−m,还没除以 ℓ)。 同样地,m 更新时 O 里旧的部分用的是旧 m,要乘修正因子。所有 tile 处理完后,最后做一次 O ÷ ℓ 才是真正的归一化 attention 输出。
一句话总结:softmax 本来需要看完整行才能算(要知道 max 和分母)。tiling 只让我们一段一段地看。m、ℓ、O 这三个量是"边走边记"的笔记——记下"目前为止见过的 max"、"目前为止的分母累加"、"目前为止的输出累加"。三个必须同步更新(m 一变,ℓ 和 O 都要修正),最终拼出来的结果和"一次性看完整行"的标准 softmax 精确相等。
0
Flash 读 (tile)
0
Flash 写 (tile)
14
标准 读 (tile)
10
标准 写 (tile)
步骤说明

—

—
load_Q load_KV compute_S online_softmax finalize