传统做法给每个请求预留一整段连续显存,长度按 max_seq_len 算(怕生成到最长)。但实际生成长度天差地别 → 大量预留显存空着,谁也用不了。拖动滑块看浪费。
max_seq_len 占一段地址,哪怕它只生成几个 token。利用率 = 实际 token ÷ 预留 token。短请求一多,利用率可以跌到 20–40%——这就是内部碎片 + 预留浪费。还没算另一种问题:不同请求的预留段大小不一,回收后留下塞不进新请求的空洞(外部碎片)。
借鉴操作系统虚拟内存:每个序列的 KV 在逻辑上是连续的块 0,1,2…;物理上这些块从一个空闲块池里随便抓,地址不连续。一张 Block Table(≈页表)记录逻辑块 → 物理块的映射。块大小 block_size = 4 token。
并行采样 / beam search 里,多条输出共享同一段 prompt。分页让它们的 Block Table 指向同一批物理块(引用计数 ref=2),prompt 只存一份。等到某条要往一个共享且没填满的块里写新 token 时,触发 Copy-on-Write:先复制该块,改自己的映射,再写——互不污染。
Prompt = 7 token,block_size = 4 ⟹ 逻辑块 L0 满(4),L1 半满(3,剩 1 个空槽)。A、B 共享 L0、L1。
固定显存预算 = 96 个 token 槽,block_size = 4,max_seq_len = 24。每个请求实际只生成 8 个 token。拖动滑块看两种方案各能并发多少请求。
max_seq_len=24 预留 → 固定塞 ⌊96/24⌋=4 个。分页方案每请求只占 ⌈len/4⌉ 个块 = ⌈len/4⌉×4 个槽,浪费只有最后一块的零头(至多 block_size−1 = 3 个 token,与序列长短无关)。请求越短,倍数越夸张——这正是 vLLM 把吞吐做上去的根本原因:消灭碎片 = 把省下的显存换成更大的 batch。