CS-Notes 学习笔记
大模型应用开发 · 检索增强生成

评测集怎样构建?

先自己想一想,再看参考要点

参考要点

  • 优先从真实用户问题中抽样,不够时用模型生成再人工改写措辞,避免照抄原文高估向量检索
  • 包含没有答案、需要多个切片和新旧版本冲突的问题,没有答案的问题回答不知道算对、编出答案算错
  • 标注标准答案和所需的原文片段而不是切片 ID,线上的错误回答持续补充进来
在学习站中自测这道题看这道题所在的一天

学习站:先用面试题自评定级,按水平和面试日期排出每天的计划,自评过的题按间隔复习。免费、无需注册,记录只保存在自己的浏览器中。