CS-Notes 学习笔记

大模型应用开发 · 大模型基础

MHA、MQA 和 GQA 有什么区别？

先自己想一想，再看参考要点

参考要点

MHA 中每个查询头都有自己的 K、V
GQA 让多个查询头共享一组 K、V，Qwen2.5-7B 的 28 个查询头共享 4 组，每个 Token 缓存 56 KB，MHA 要 392 KB
MQA 中所有查询头共享一组，缓存最小，但效果下降更明显
GQA 减少的是缓存和解码每步读取的数据量，计算量基本不变，每个查询头仍有自己的 Q，所以效果接近 MHA

自回归生成与 KV Cache

在学习站中自测这道题看这道题所在的一天

学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。