CS-Notes 学习笔记
大模型应用开发 · 大模型基础

大模型的训练分为哪几个阶段?

先自己想一想,再看参考要点

参考要点

  • 预训练:在海量文本上预测下一个 Token,获得语言能力和知识,但只会续写
  • 监督微调:用指令和人工编写的回答训练,学会按对话格式回答、遵循指令
  • 偏好对齐:用“两个回答哪个更好”的数据让回答更有帮助、更安全,这类目标难写标准答案,但比较容易
在学习站中自测这道题看这道题所在的一天

学习站:先用面试题自评定级,按水平和面试日期排出每天的计划,自评过的题按间隔复习。免费、无需注册,记录只保存在自己的浏览器中。