PagedAttention 解决了什么问题？

参考要点

• 早期系统按最大长度为每个请求预留连续的显存，真正存放 KV Cache 的只有 20.4%～38.2%
• PagedAttention 借鉴操作系统的分页，把 KV Cache 切成固定大小的块（vLLM 默认 16 个 Token）按需分配，用块表记录位置，只浪费最后一块的空余
• 同样 7 GB 显存按 8K 预留只能服务 16 个请求，请求平均只用到 2K Token 时按块分配可服务 64 个
• 延迟相近时吞吐是 FasterTransformer、Orca 的 2～4 倍

• PagedAttention