RLHF 中的奖励模型是怎样训练的？

参考要点

• 标注员把同一提示词的 4～9 个回答按好坏排序，两两组成偏好对（9 个回答 36 对）
• 奖励模型输入提示词和回答、输出一个分数，损失为 -log σ(r_w - r_l)，使较好回答得分更高，例如分数 1.2 和 0.3 时损失约 0.34

• RLHF 与 PPO