PPO、DPO 和 GRPO 有什么区别？
先自己想一想，再看参考要点
参考要点
- PPO 在线生成回答，奖励模型打分、价值模型给出预期，加载 4 个模型、训练 2 个
- DPO 不训练奖励模型、不在训练中生成回答，直接用离线偏好对训练，只需策略模型和参考模型，简单稳定
- GRPO 去掉价值模型，每题生成一组回答、以组内平均分为预期，适合能用规则判对错的推理训练
- PPO 和 GRPO 能探索出训练数据之外的更好回答
学习站：先用面试题自评定级，按水平和面试日期排出每天的计划，自评过的题按间隔复习。免费、无需注册，记录只保存在自己的浏览器中。