多头注意力有什么作用？
先自己想一想，再看参考要点
参考要点
- 单头注意力中每个 Token 只有一组权重，只能按一种标准挑选信息
- 多头把 Q、K、V 切成 h 份分别计算，拼接后乘 W<sub>O</sub>，不同的头可以关注指代、相邻词等不同关系
- 每头维度为 d / h，计算量与单头基本相同
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。
参考要点
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。