推理模型是怎样获得推理能力的?什么时候不该用?
先自己想一想,再看参考要点
参考要点
- 推理模型在回答之前先生成一段思考过程,把复杂问题拆成多步解决,例如 DeepSeek-R1 通过大规模强化学习,对数学、代码这类答案可以自动验证的题目按最终答案是否正确给予奖励,模型自发学会了更长的思考、检查和修正
- 小模型可以通过蒸馏获得推理能力:经典的知识蒸馏拟合教师模型的输出概率分布,也可以只用教师生成的文本做 SFT,例如 R1 的 Distill 系列用约 80 万条样本微调 Qwen2.5、Llama,没有再做强化学习
- 思考的 Token 按输出计费,界面上只显示摘要时也按完整的思考过程计费,更高的准确率是用更长的延迟和更高的成本换来的,简单问题不必使用
- effort 只是引导思考的多少,输出长度上限才是硬上限,而且思考和正文共用这个上限,设得太小时正文可能被截断