大模型的参数主要分布在哪里？
先自己想一想，再看参考要点
参考要点
- 几乎都在矩阵中：每层的注意力和前馈网络，以及词嵌入和输出层（Qwen2.5-7B 中各约 7%）
- Qwen2.5-7B 的前馈网络三个矩阵（3584 → 18944 → 3584）占全部参数的 75%
- GQA 使 k_proj、v_proj 只有 q_proj 的七分之一，总计约 76 亿个参数
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。
参考要点
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。