KV Cache 是什么？为什么能加快生成？
先自己想一想，再看参考要点
参考要点
- 因果掩码下前文 Token 的 K、V 不再变化，缓存起来复用就是 KV Cache
- 预填充一次算好输入的 K、V，解码每步只为新 Token 计算 Q、K、V，再与缓存做注意力，不再重算前文
- 代价是显存，Qwen2.5-7B 每个 Token 56 KB，32K Token 约 1.75 GB
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。