注意力的计算公式是什么？为什么要除以 √d？
先自己想一想，再看参考要点
参考要点
- 公式为 softmax(QK<sup>T</sup> / √d) V：Q 与各 K 点积得到分数，softmax 成权重后对 V 加权求和
- 分量独立、均值 0、方差 1 时点积的方差为 d，维度大时 softmax 几乎集中到一个 Token 上，梯度接近 0
- 除以 √d 使方差恢复为 1
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。