Flash Attention 交互式可视化
n=8, d=4, B
r
=B
c
=4 · 2 个 Q tile × 2 个 K/V tile · 键盘
←
→
翻页
↺ 重置
← Prev
0 / 0
Next →
内存层级
HBM · 慢但大(40-80 GB)
~2 TB/s
SRAM · 快但小(~20 MB)— 里面的东西从不写回 HBM
~19 TB/s
📖 符号速查 · 没接触过 softmax 的话先读这里(点击折叠)
B
r
, B
c
— tile(分块)的大小
B
r
= Q tile 一次取多少行(多少个 query)
,本例 = 4。
B
c
= K/V tile 一次取多少行(多少个 key/value)
,本例 = 4。
SRAM 只有 ~20 MB,整张 n×n 矩阵装不下。B
r
、B
c
选得刚好让"1 个 Q tile + 1 个 K tile + 1 个 V tile + 1 个 B
r
×B
c
的临时 S 矩阵"全部塞进 SRAM。真实实现里通常 B
r
= B
c
= 64 或 128。
S
ij
— attention 分数矩阵
Q tile 和 K tile 的点积结果,形状 B
r
×B
c
。
S[a][b] = 第 a 个 query 与第 b 个 key 的"相关度打分"
,数字越大越相关。
是 softmax 的输入。softmax 会把每一行变成总和为 1 的概率分布,告诉模型"这个 query 应该把多少注意力分给每个 key"。
m — 每行目前见过的最大 S 值(向量,长度 B
r
)
一个简单的 running max:
m[a] = 第 a 行所有看过的 S 值里最大那个
。
softmax 公式 e
x
/Σe
x
中 e
x
容易溢出(x=100 时 e
x
≈10
43
)。标准技巧是先减去 max:e
x−m
/Σe
x−m
(数学上等价,但数值安全)。
分块时我们不知道全局 max,只能边算边更新
——新 tile 带来更大 max 时,之前用旧 m 算的部分必须乘修正因子 e
m_old−m_new
重新对齐。
ℓ — 每行 softmax 的分母(向量,长度 B
r
)
ℓ[a] = 第 a 行所有 e
S[a][·]−m[a]
的累加和
,也就是 softmax 公式里的那个分母 Σe
x
。读作 "ell"。
分块算到一半时,我们只看到部分 S 值,分母还不完整。每处理完一个新 tile 就把它的 e 值加进 ℓ。m 更新时 ℓ 也要乘同一个修正因子,因为里面所有项都是用旧 m 算出来的。
O — 累积输出(矩阵,B
r
×d)
attention 最终要算的就是
O = softmax(S) · V
。但因为 softmax 还没算完,这里的 O 是
未归一化的累积版本
:每来一个 K/V tile 就把 P·V
j
加进来(P = e
S−m
,还没除以 ℓ)。
同样地,m 更新时 O 里旧的部分用的是旧 m,要乘修正因子。所有 tile 处理完后,最后做一次
O ÷ ℓ
才是真正的归一化 attention 输出。
一句话总结:
softmax 本来需要看完整行才能算(要知道 max 和分母)。tiling 只让我们一段一段地看。
m、ℓ、O 这三个量是"边走边记"的笔记
——记下"目前为止见过的 max"、"目前为止的分母累加"、"目前为止的输出累加"。三个必须同步更新(m 一变,ℓ 和 O 都要修正),最终拼出来的结果和"一次性看完整行"的标准 softmax
精确相等
。
0
Flash 读 (tile)
0
Flash 写 (tile)
14
标准 读 (tile)
10
标准 写 (tile)
步骤说明
—
—
load_Q
load_KV
compute_S
online_softmax
finalize