LoRA 的原理是什么？LoRA 和 QLoRA 有什么区别？
先自己想一想，再看参考要点
参考要点
- LoRA 冻结原矩阵 W，只训练小矩阵 B、A，h = Wx + (α / r)·BAx，B 初始化为 0，训练开始时与原模型相同
- 可训练参数很少（Qwen2.5-7B 全部线性层 r = 16 时占 0.53%），训练后合并进 W，推理无额外开销
- QLoRA 再把冻结的权重量化为 4 位 NF4 存储、计算时还原为 BF16，7B 权重从 15.2 GB 降到约 5.5 GB（嵌入层和输出层仍为 BF16）