FlashAttention 解决了什么问题？
先自己想一想，再看参考要点
参考要点
- 标准注意力的计算量为 O(n<sup>2</sup>d)，n × n 的分数矩阵占 O(n<sup>2</sup>) 显存，长上下文时显存读写成为瓶颈
- FlashAttention 分块在 GPU 片上缓存中计算，分数矩阵不写回显存，用在线 softmax 逐块累积
- 结果在数学上与标准注意力相同，不是近似，省的是显存读写而不是计算量
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。