Attention Mechanisms & Optimizations
- 01注意力机制的本质与演化Bahdanau → Self-Attention, QKV 三重角色, Multi-Head, O(n²) 瓶颈
- 02Flash Attention 与 GPU 内存层级HBM/SRAM 层级, tiling 分块, online softmax, FA2/FA3 演进
- 03KV Cache 与推理时的 Attention训练 vs 推理, KV Cache 原理, prefill/decode 两阶段, 内存碎片化
- 04Paged Attention — KV Cache 的虚拟内存vLLM, 分页管理, block table, 碎片消除, copy-on-write
- 05注意力分成了几派 — 2025-26 架构地图待更新全注意力 / 局部 / 稀疏 / 线性 / 混合五类; 每 token 每层 KV 字节作统一成本尺; 3:1 与 5:1 两种主流配比; 为什么不再每层都是 full attention
- 06GQA、MQA、MLA — 少存 K、V待更新KV 头共享; MLA 低秩潜变量压缩与吸收; Gemma 4 全局层 K 当 V 用; 各方案每 token KV 字节对比
- 07滑动窗口与局部-全局交错待更新SWA 与跨窗口信息传播; Gemma 3/4 的 5:1 与窗口大小; gpt-oss 窗口 128 + attention sink; Llama 4 iRoPE / NoPE / p-RoPE; SWA 层的循环缓冲 KV
- 08线性注意力与 delta rule — 用固定状态代替 KV Cache待更新核技巧去掉 softmax; 状态矩阵与 RNN 视角; delta rule 与遗忘门; Gated DeltaNet、KDA; chunkwise 并行训练; 召回能力的上限
- 09混合架构 — 线性层 + 少量全注意力待更新Qwen3.5 3:1 GDN:Gated Attention; Kimi Linear / K3 的 KDA + MLA; Nemotron-H Mamba-2 为主; Gated Attention 与门控残差的稳定作用; MiniMax M2 退回全注意力的教训
- 10可学习的稀疏注意力待更新NSA / MoBA 块稀疏; DeepSeek DSA lightning indexer 与 top-k; DeepSeek V4 CSA / HCA 先压缩再稀疏; MiniMax M3 MSA; 稀疏层的 kernel 与 KV 访问
- 11Radix Attention 与前缀缓存待更新SGLang radix tree, 多请求共享前缀, automatic prefix caching, LRU 淘汰; 混合模型中线性层状态与 SWA 层的缓存问题
- 12推理调度 — chunked prefill、PD 分离、Flash-Decoding待更新prefill 分块与 continuous batching; iteration-level scheduling; prefill-decode 分离部署; decode 沿 KV 维度并行; 混合 / 稀疏架构对调度的影响
- 13KV Cache 压缩 — 量化、驱逐与卸载待更新KV 量化 (INT8/INT4/FP8); token eviction (H2O / SnapKV 一类); GPU-CPU 卸载; 与 06-10 架构级减存的对比与叠加
- 14Ring Attention 与上下文并行待更新ring topology, blockwise attention + 通信重叠, context parallelism, 百万级上下文; 稀疏与线性层下的并行方式
- 15综合对比与选型决策待更新架构 × 系统对比矩阵; 给定场景(长上下文 / agent / 高并发)的组合选型; 生产决策树